本文へスキップ

Diffusion as Shader

3D 追跡動画を制御入力にして動画を生成

公式サイトを見る

diffusion-as-shader とは

当モデルは 3D 追跡動画を制御入力に使う動画生成の制御モデルと説明され、一つの構成で複数の制御課題を扱う。

できること

  • テキスト指示、画像、アニメーションのメッシュを用意する
  • 深度マップやオブジェクトの分割などを前処理する
  • 3D 追跡の入力から動画を生成する

注意点

  • Depth Pro と SAM が前処理の道具に挙がる
  • カメラの軌道は利用者が指定する
  • 時間的な一貫性が掲げる目標

長所と短所

✓ 良い点

  • 3D 追跡動画が時間的な一貫性を高める
  • 少ないデータでの微調整が説明される

! 注意したい点

  • 指示や画像、メッシュは利用者が用意する
  • 深度マップなどの前処理が先に要る

よくある質問

制御入力は何?

資料では 3D 追跡動画が制御入力と説明。

開発したのは誰?

資料では香港の大学など複数の研究チームによると説明。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法