Lumiere とは
Lumiere は文章から動画を生成する拡散モデルと紹介され、現実的で多様かつつながりのある動きを目指す。時空間 U-Net により一回の処理で動画全体の長さを生成する。
できること
- 現実的で多様かつつながりのある動きを合成する
- 一回の処理で動画全体の長さを生成する
- 内容制作と動画編集の課題に設計を広げる
- 画像から動画、動画の補完、画風の変換生成にも広げる
仕組みの要点
- 空間と時間の両方で縮小と拡大を配置する
- 学習済みの文章から画像への拡散モデルを再利用する
- 複数の時空間の尺度で全フレーム率の低解像度動画を学ぶ
- 離れたキーフレームを先に作り後で時間方向に高解像度化する方式と対比される
長所と短所
✓ 良い点
- 一回生成の設計は時間全体の一貫性を狙う
- 一つのモデルで複数の編集課題を扱う
! 注意したい点
- 資料は論文の要約で製品の発表ではない
- 挙がる事例は見出しだけで細部がない
よくある質問
どんな構造か?
論文は時空間 U-Net を導入し、一回の処理で動画全体の長さを生成する。
挙がる編集の課題は?
画像から動画、動画の補完、画風の変換生成が挙がる。
最終評価日: 2026-11-15
その他 AI動画生成 ツール
すべて見る →-
1703 顔出しなしの YouTube 動画を短時間で 無料ツール クリエイターツール 動画生成ツール 発話アバター -
A2E ボイスクローンに対応したデジタルヒューマンの動画 動画生成ツール 画像から動画 リップシンク動画 デジタルヒューマン 音声クローン -
A9 ブランドが既に持つ素材から短い販促クリップを作る 無料ツール 動画生成ツール ショート動画 -
Adobe Firefly Video テキストや画像から短い動画を生成し、言語をまたいで翻訳できる 無料ツール 動画生成ツール テキストから動画 画像から動画 デザインツール -
Adpex 動画・画像・コードを1つの Web アプリで 無料ツール マルチモデルプラットフォーム 画像編集 動画生成ツール コーディング -
AdsTurbo 有料ソーシャル向けの動画広告のバリエーション 動画生成ツール ショート動画 動画広告 動画翻訳 広告クリエイティブ