Story-to-Motion とは
本フレームワークは物語を受け取り文章の説明に合う動作と軌跡を生成するタスクと紹介され、大規模言語モデルを文章で動く動作の割り当て役として使うと説明されている。
できること
- 長い文章から無制限で制御可能なキャラクターアニメーションを合成する
- 大規模言語モデルで長い文章から文章と位置の組を取り出す
- 古典的な動作照合、動作の意味、軌跡の制約を組み合わせて動作を検索する
- 段階的なマスク変換器で不自然な姿勢と足の滑りに対処する
活用場面
- ゲーム開発で筋書きの文章からキャラクターアニメーションを生成する
- 映像制作で脚本からキャラクターの動作を自動生成する
- アニメ設計者が文章からキャラクターアニメーションを合成する
仕組み
- 大規模言語モデルが文章で動く動作の割り当て役を担う
- 移行動作の問題として不自然な姿勢と足の滑りが挙がる
- 資料は軌跡の追従、時間的な動作の組み合わせ、動作の混合を挙げる
- 原文は従来の動作合成の手法を上回ったと説明する
長所と短所
✓ 良い点
- 物語の文章が動作と軌跡の両方を動かす
- 動作検索は古典的な照合と意味・軌跡の制約を組み合わせる
! 注意したい点
- 動作の割り当ては長い文章を読む大規模言語モデルに依存
- 移行動作の問題は専用のマスク変換器で扱われる
よくある質問
入力は何?
資料は物語を受け取り文章に合う動作と軌跡を生成すると説明。
どの下位課題が評価された?
軌跡の追従、時間的な動作の組み合わせ、動作の混合が挙がる。
最終評価日: 2026-11-15
その他 AI動画生成 ツール
すべて見る →-
1703 顔出しなしの YouTube 動画を短時間で 無料ツール クリエイターツール 動画生成ツール 発話アバター -
A2E ボイスクローンに対応したデジタルヒューマンの動画 動画生成ツール 画像から動画 リップシンク動画 デジタルヒューマン 音声クローン -
A9 ブランドが既に持つ素材から短い販促クリップを作る 無料ツール 動画生成ツール ショート動画 -
Adobe Firefly Video テキストや画像から短い動画を生成し、言語をまたいで翻訳できる 無料ツール 動画生成ツール テキストから動画 画像から動画 デザインツール -
Adpex 動画・画像・コードを1つの Web アプリで 無料ツール マルチモデルプラットフォーム 画像編集 動画生成ツール コーディング -
AdsTurbo 有料ソーシャル向けの動画広告のバリエーション 動画生成ツール ショート動画 動画広告 動画翻訳 広告クリエイティブ