Meta 發佈了 audio2photoreal AI 框架，可以通過輸入配音檔生成角色對話場景

2024-01-12 08:21:43

Bit News Meta 最近宣佈了一個名為 audio2photoreal 的 AI 框架，它能夠生成一系列逼真的 NPC 角色模型，並藉助現有的畫外音檔自動“對口型同步”和“擺姿勢”角色模型。

官方研報指出，Audio2寫實框架收到配音檔后，會先生成一系列NPC模型，然後利用量化技術和擴散演演演算法生成模型動作，其中量化技術為框架提供動作樣本參考，擴散演演演算法用於提升幀生成的人物動作效果。

對照實驗中有43%的評估者對幀生成的人物對話場景“非常滿意”，因此研究人員認為Audio2逼真框架能夠產生比業內競爭產品“更具活力和表現力”的動作。據悉，研究團隊現已在 GitHub 上公開了相關代碼和數據集。

AUDIO-4.06%

查看原文

此頁面可能包含第三方內容，僅供參考（非陳述或保證），不應被視為 Gate 認可其觀點表述，也不得被視為財務或專業建議。詳見聲明。