本文へスキップ

Lumiere

時空間拡散による文章から動画への生成

公式サイトを見る

Lumiere とは

Lumiere は文章から動画を生成する拡散モデルと紹介され、現実的で多様かつつながりのある動きを目指す。時空間 U-Net により一回の処理で動画全体の長さを生成する。

できること

  • 現実的で多様かつつながりのある動きを合成する
  • 一回の処理で動画全体の長さを生成する
  • 内容制作と動画編集の課題に設計を広げる
  • 画像から動画、動画の補完、画風の変換生成にも広げる

仕組みの要点

  • 空間と時間の両方で縮小と拡大を配置する
  • 学習済みの文章から画像への拡散モデルを再利用する
  • 複数の時空間の尺度で全フレーム率の低解像度動画を学ぶ
  • 離れたキーフレームを先に作り後で時間方向に高解像度化する方式と対比される

長所と短所

✓ 良い点

  • 一回生成の設計は時間全体の一貫性を狙う
  • 一つのモデルで複数の編集課題を扱う

! 注意したい点

  • 資料は論文の要約で製品の発表ではない
  • 挙がる事例は見出しだけで細部がない

よくある質問

どんな構造か?

論文は時空間 U-Net を導入し、一回の処理で動画全体の長さを生成する。

挙がる編集の課題は?

画像から動画、動画の補完、画風の変換生成が挙がる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法