本文へスキップ

UniMuMo

テキスト・音楽・動作をつなぐ一つのモデル

公式サイトを見る

UniMuMo とは

本モデルはトークン表現を用い、文章・音楽・動作の三つのモダリティを橋渡しすると紹介されている。

できること

  • 文章・音楽・動作のいずれかを入力条件にする
  • 三つのモダリティをまたぐ出力を生成する
  • リズムの型で組になっていないデータを揃える

活用場面

  • 文章の記述から音楽と舞踏を生成する
  • ゲームのキャラクターに音楽と動作を同期して作る
  • 仮想のキャラクターに自然な動作を作る

長所と短所

✓ 良い点

  • 三つのモダリティが一つの枠組みに収まる
  • 一方向の生成ベンチマークで競争力のある結果が示される

! 注意したい点

  • 出力は選んだ入力のモダリティに左右される
  • 位置合わせはデータのリズムの型に依存する

よくある質問

対象のモダリティは?

資料は文章・音楽・動作を入力にも出力にも挙げる。

計算量をどう抑える?

資料は既存の学習済みモデルを微調整すると説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法