Kagi 搜尋夥伴:個人網站文件的搜尋 AI 精靈

[網摘] 微軟 零樣本對話化身生成 (GAIA, Generative AI for Avatar)

微軟 零樣本對話化身生成 (GAIA, Generative AI for Avatar) https://microsoft.github.io/GAIA/

從語音和一張肖像照,就可以合成自然的談話影片

  • 把原始語音改成別人相片
  • 化身的表情可以完全跟原始影片的表情、姿體動作一樣
  • 透過文字下指令,控制說話化身的表情與姿體動作,例如:張大嘴巴、震驚、悲傷

摘要:

「零樣本對話化身生成」 (Zero-shot talking avatar generation) 的目的在從語音和一張肖像照片合成自然的談話影片。以前的方法依賴於特定領域的啟發式,例如基於扭曲的動作和3D可塑模型,這限制了生成化身的自然性和多樣性。在這份論文中,我們介紹了GAIA(化身的生成人工智慧),它消除了對話化身生成中的「領域先驗」 (domain priors)。

鑑於觀察到語音僅驅動化身的動作,而化身和背景的外觀在整個影片中通常保持不變,我們將方法分為兩個階段:1)從每個影格 (frame) 取出為動作和外觀表示;2)根據語音和參考肖像圖片生成動作序列。

我們收集了大規模高品質的談話化身資料集,並以不同的規模(最多2B參數)對模型進行訓練。實驗結果驗證了GAIA的優越性、可擴展性和靈活性,因為1)生成的模型在自然性、多樣性、唇部同步品質和視覺品質方面超越了以前的基線模型;2)該框架是可擴展的,因為較大的模型產生更好的結果;3)它是通用的,並且可以用於不同的應用,如可控談話化身生成和文本指令的化身生成。

留言