本文へスキップ

Tora

軌跡指向の拡散トランスフォーマーで動画の動きを制御

公式サイトを見る

Tora とは

本モデルは軌跡指向の拡散トランスフォーマーによる動画生成モデルと紹介され、文章・視覚・軌跡の条件を組み合わせて動きを精密に制御すると説明されている。DiT の拡張性を生かし、長さ・縦横比・解像度の異なる動画を生成できる。

できること

  • 軌跡抽出器 TE で任意の軌跡を階層的な時空間の運動パッチに符号化する
  • 時空間拡散トランスフォーマーで連続フレーム間の動きの情報を保つ
  • 運動誘導融合器 MGF で複数段階の運動条件を DiT ブロックへ注入する
  • 解像度の異なる動画や長い動画を生成する

使用例

  • 雪山を背景にバラが舞う自然風景の動画を生成する
  • 水中を飛ぶカモメと色とりどりのサンゴ礁の仮想の場面を作る
  • 砂漠で赤いヘリウム風船が上昇する広告映像を作る

導入の手順

  • 動画の軌跡と動きの要件を定める
  • 軌跡抽出器 TE で軌跡を時空間の運動パッチに符号化する
  • 時空間拡散トランスフォーマーで動画の初期スケッチを生成する
  • 運動誘導融合器 MGF で DiT ブロックへ運動条件を注入する

長所と短所

✓ 良い点

  • 文章・視覚・軌跡の条件をまとめて扱う
  • 長さ・縦横比・解像度の違いに対応

! 注意したい点

  • 動きの制御は与えた軌跡の条件に沿う
  • 生成は TE、DiT、MGF の段階を経る

よくある質問

どんな条件を使う?

資料は文章・視覚・軌跡の条件を挙げ、動きの制御に用いると説明。

主な構成要素は?

軌跡抽出器、3D 動画圧縮ネットワークを伴う時空間拡散トランスフォーマー、運動誘導融合器。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法