本文へスキップ

LatentSync

潜在拡散モデルで音声から口元を同期

公式サイトを見る

LatentSync とは

本フレームワークは ByteDance による口元同期の枠組みと紹介され、潜在拡散モデルで音声と映像の結びつきを捉える。Stable Diffusion を直接使い、中間の動き表現を置かないと説明されている。

できること

  • 拡散モデルで音声と映像の対応を捉える
  • TREPA でフレームの時間的な一貫性を高める

活用場面

  • 仮想の配信者が声に合う口元の動きを得る
  • アニメ会社が吹き替えに口元を合わせる
  • 効果の担当が映像の口元のずれを直す

長所と短所

✓ 良い点

  • 修復・再サンプリング・顔の位置合わせまで手順が揃う
  • U-Net と SyncNet の学習スクリプトが公開される

! 注意したい点

  • 最初に環境の準備とチェックポイントの取得が要る
  • 推論はスクリプトから動かし引数を調整する

よくある質問

何を土台にする?

資料は Stable Diffusion と音声条件付きの潜在拡散の手法を挙げる。

コードは公開されている?

資料は学習・推論のスクリプトとチェックポイントの公開を説明。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法