UniMuMo とは
本モデルはトークン表現を用い、文章・音楽・動作の三つのモダリティを橋渡しすると紹介されている。
できること
- 文章・音楽・動作のいずれかを入力条件にする
- 三つのモダリティをまたぐ出力を生成する
- リズムの型で組になっていないデータを揃える
活用場面
- 文章の記述から音楽と舞踏を生成する
- ゲームのキャラクターに音楽と動作を同期して作る
- 仮想のキャラクターに自然な動作を作る
長所と短所
✓ 良い点
- 三つのモダリティが一つの枠組みに収まる
- 一方向の生成ベンチマークで競争力のある結果が示される
! 注意したい点
- 出力は選んだ入力のモダリティに左右される
- 位置合わせはデータのリズムの型に依存する
よくある質問
対象のモダリティは?
資料は文章・音楽・動作を入力にも出力にも挙げる。
計算量をどう抑える?
資料は既存の学習済みモデルを微調整すると説明。
最終評価日: 2026-11-15
その他 LLM APIプラットフォーム ツール
すべて見る →-
302.AI 数百の大規模モデルを単一の API に集約したクラウド 開発者ツール API連携 マルチモデルプラットフォーム モデルデプロイ LLM APIプラットフォーム -
360智脑开放平台 360 モデル API プラットフォーム API連携 マルチモデルプラットフォーム ナレッジベースQ&A 企業自動化 LLM APIプラットフォーム -
4o Image API 画像生成 API ゲートウェイ 無料ツール フリーミアムツール 開発者ツール API連携 LLM APIプラットフォーム -
AI-Flow ノーコードのマルチモデルワークフロー ワークフロー自動化 開発者ツール API連携 ナレッジベースQ&A LLM APIプラットフォーム -
AI/ML API 多数のモデルへの単一ゲートウェイ 開発者ツール API連携 マルチモーダル マルチモデルプラットフォーム LLM APIプラットフォーム -
Amazon Bedrock AWS のコード提案とセキュリティスキャン 無料ツール コードアシスタント IDE アプリ構築ツール LLM APIプラットフォーム