本文へスキップ

UniAnimate

人物画像を動画化する統一の動画拡散フレームワーク

公式サイトを見る

UniAnimate とは

本フレームワークは人物画像を動画化する統一された動画拡散モデルと紹介され、参考画像・姿勢の案内・ノイズ動画を共通の特徴空間へ写して最適化の難しさを抑え時間的なつながりを保つと説明されている。 長い系列を扱え、先頭フレームを条件とする方式を繰り返し使うことで一貫性の高い一分間の動画を生成できる。

モデルについて

  • CLIP と VAE のエンコーダで参考画像の潜在特徴を取り出す
  • 参考姿勢の表現を最終的な案内に加え人体の構造を学ぶ
  • 姿勢エンコーダで目標の姿勢系列を符号化しチャネル方向にノイズと連結する
  • VAE デコーダで生成した潜在動画を画素空間へ写す

活用場面

  • 映画制作で品質の高い人物アニメーションを生成する
  • ゲーム開発でつながりのある人物の動作系列を作る
  • 仮想現実の体験で写実的な人物の動きを作る

導入の手順

  • 参考画像と一連の目標姿勢系列を用意する
  • CLIP と VAE のエンコーダで参考画像の潜在特徴を得る
  • 参考姿勢の表現を潜在特徴と合わせ案内を作る
  • 姿勢エンコーダで目標姿勢系列を符号化しノイズ動画と合わせる

長所と短所

✓ 良い点

  • CLIP と VAE の二つのエンコーダで参考画像の潜在特徴を抽出する
  • VAE デコーダが潜在動画を画素空間へ写す

! 注意したい点

  • 利用には参考画像と目標の姿勢系列の用意が要る
  • 時間 Transformer は計算量が大きいと説明される

よくある質問

長い動画のつながりはどう保つ?

資料は参考画像・姿勢の案内・ノイズ動画を共通の特徴空間へ写し時間的なつながりを保つと説明。

時間モジュールの選択肢は?

統一動画拡散モデルの時間モジュールは時間 Transformer か時間 Mamba。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法