本文へスキップ

Motion-I2V

二段階で制御する画像から動画への生成

公式サイトを見る

Motion-I2V とは

本フレームワークは一貫性と制御性のある画像から動画への生成の仕組みと紹介され、I2V を二段階に分けて明示的な動きのモデル化を行い、複雑な画像から動画への対応を直接学ぶ方法とは異なると説明されている。

できること

  • 一貫性と制御性のある画像から動画への出力を生成する
  • 拡散に基づく予測器で動き場を推定する
  • 参照画像の特徴を合成フレームへ伝える
  • まばらな軌跡で動きの軌跡と動く領域を制御する

二段階の構成

  • 第一段は拡散に基づく動き場の予測器で参照画像の画素の軌跡を推定する
  • 第二段は動きを強化した時間アテンションで動画の潜在拡散モデルの限られた一次元の時間アテンションを補う
  • 第一段で予測した軌跡が参照画像の特徴の合成フレームへの伝達を導く
  • 大きな動きや視点の変化でも一貫した動画になると資料は説明する

活用場面

  • 写真愛好家が一組の風景写真からまとまりのある制御可能な動画作品を作る
  • 広告会社が特定の視覚効果を持つ製品動画を作る
  • 美術家が静止した作品を動きのある動画展示に変える

長所と短所

✓ 良い点

  • 動きの軌跡と動く領域を細かく制御できる
  • 大きな動きや視点の変化でも一貫した動画になると資料は説明

! 注意したい点

  • 手法は画像から動画への生成を二段階に分ける
  • 動きの制御はまばらな軌跡の制御ネットワークの学習による

よくある質問

どんな枠組み?

資料は一貫性と制御性のある画像から動画への生成と説明。

動きはどう扱う?

第一段は拡散に基づく動き場の予測で画素の軌跡を推定し、第二段は時間アテンションを用いる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法