本文へスキップ

Unified-IO 2

一つのモデルで画像・文章・音声・動作を扱う

公式サイトを見る

Unified-IO 2 とは

本モデルは統一されたマルチモーダル生成モデルと紹介され、単一の符号化・復号型 Transformer の中で画像・文章・音声・動作を扱うと説明される。

できること

  • 画像に説明を付ける
  • 自由形式の指示を実行する
  • 画像を編集し対象を検出する

モデルについて

  • 入出力は共通の意味空間に置かれる
  • 事前学習は大規模なマルチモーダルコーパス
  • 微調整は 120 の既存データセットを対象にした

長所と短所

✓ 良い点

  • 一つのモデルが四つのモダリティをまたぐ
  • 大規模なマルチモーダルコーパスで一から学習

! 注意したい点

  • 微調整は 120 の既存データセットに依存
  • 資料が示す構成は単一の符号化・復号型 Transformer

よくある質問

対象のモダリティは?

資料は画像・文章・音声・動作を挙げる。

微調整のデータセット数は?

資料は 120 の既存データセットと説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法