本文へスキップ

MimicMotion

姿勢シーケンスから人体動作の動画を生成

公式サイトを見る

MimicMotion とは

本モデルは Tencent と上海交通大学が共同で開発した人体動作の動画生成モデルと紹介され、信頼度を考慮した姿勢誘導で生成を制御し時間方向の滑らかさを高め画像の歪みを減らすと説明されている。

できること

  • 姿勢推定の信頼度で姿勢誘導の影響を調整する
  • 領域損失の拡大で画像の歪みを減らす
  • 漸進的な潜在融合で時間方向に滑らかな長い動画を作る
  • 重ね合わせ拡散で任意の長さの動画を生成する

活用場面

  • 滑らかな人体動作と表情を見せるダンス動画を生成する
  • 仮想現実でリアルな動作の対話型キャラクターを作る
  • ゲーム開発でキャラクターに動的で応答性のある動作を設計する

導入の手順

  • 参照画像と姿勢シーケンスを用意する
  • 本モデルで動画生成を行う
  • 必要に応じ姿勢誘導のパラメータを調整する
  • 領域損失の拡大を適用し特定領域の画像品質を整える

長所と短所

✓ 良い点

  • 姿勢シーケンスを条件に任意の長さの動画を生成できる
  • 資料は姿勢誘導と手の領域強化に関するアブレーション結果を挙げる

! 注意したい点

  • 生成には参照画像と姿勢シーケンスの入力が必要
  • 信頼度を考慮した姿勢誘導のパラメータ調整が手順に含まれる

よくある質問

生成を導くものは?

資料は姿勢推定の信頼度による姿勢誘導と、条件となる姿勢シーケンスを説明。

出力の長さは?

資料は重ね合わせ拡散で任意の長さの動画を生成と説明。

どんな研究が挙がる?

TikTok データセットのテストセットでのユーザー調査と、姿勢誘導と手の領域強化のアブレーション研究。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法