本文へスキップ

FLOAT

フローマッチングによる音声駆動の肖像動画生成

公式サイトを見る

FLOAT とは

本手法は音声駆動の肖像動画生成と紹介され、フローマッチングによる生成を学習された動きの潜在空間へ移して時間的に揃った動きを設計すると説明されている。

できること

  • 一枚の画像と音声から話す肖像を合成する
  • 肖像を識別と動きの潜在表現に符号化する
  • 音声で駆動される感情ラベルを与える

導入の手順

  • プロジェクトのページからコードを取得する
  • 肖像画像と駆動音声を一組用意する
  • 音声の条件と感情ラベルを設定する
  • モデルを動かし動き潜在を生成する

長所と短所

✓ 良い点

  • 入力は一枚の肖像画像と駆動音声
  • フレームごとの条件付けが簡潔で効果的と記される

! 注意したい点

  • 流れには動きの潜在自己符号化器が含まれる
  • 表現的な動きは感情ラベルに左右される

よくある質問

必要な入力は?

手順は一枚の肖像画像と対応する駆動音声を挙げる。

フローマッチングの役割は?

資料は音声を条件とした話す肖像の動き潜在を生成すると説明。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法