本文へスキップ

4M

マルチモーダルかつマルチタスクのモデル訓練枠組み

公式サイトを見る

4M とは

本枠組みは統一した Transformer の符号化器・復号化器でマルチモーダル・マルチタスクのモデルを訓練し、モダリティを離散トークン列に変えて条件付き生成を支える。

できること

  • RGB 画像から深度図と法線図を作る
  • 部分入力から欠けた RGB 内容を組み直す
  • 文章の記述に合う画像を探し出す

始め方

  • GitHub リポジトリからコードと学習済みモデルを得る
  • 文書に沿って依存関係と環境を整える
  • モデルを読み込み文章か画像の入力を用意する

長所と短所

✓ 良い点

  • モダリティをまたぐ予測が自己整合的
  • 条件の重みで生成結果を操れる

! 注意したい点

  • 準備には依存関係と環境の導入が要る
  • 学習済みモデルの取得と読み込みが要る

よくある質問

中核の設計は?

資料ではモダリティを離散トークン列にし単一の Transformer で扱う。

コードはどこ?

資料はコードと学習済みモデルを置く GitHub リポジトリを示す。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法