本文へスキップ

UNIMO-G

文章と視覚入力が交差する条件付き拡散の枠組み

公式サイトを見る

UNIMO-G とは

本枠組みは文章と視覚入力が交差する入力を扱うシンプルなマルチモーダル条件付き拡散の枠組みと紹介され、提示を符号化するマルチモーダル大規模言語モデルと画像を生成する条件付きノイズ除去の拡散ネットワークから成る。

できること

  • 交差する文章と視覚入力を処理する
  • 符号化されたマルチモーダル入力から画像を生成する
  • 事前学習で条件付き画像生成能力を育てる
  • 指示調整で統一画像生成能力に至る

仕組み

  • マルチモーダル大規模言語モデルが提示を符号化する
  • 条件付きノイズ除去の拡散ネットワークが画像を生成する
  • 二段階の学習戦略が事前学習と指示調整を組み合わせる
  • 言語グラウンディングと画像分割が提示を構築する

資料に挙がる例

  • 複数の画像実体を含む複雑な提示で高精細な画像を作る
  • 文章から画像を生成する流れを試す
  • ゼロショットの主題に基づく合成を試す

長所と短所

✓ 良い点

  • 交差する文章と視覚入力をまとめて扱える
  • 指示調整の段階は統一画像生成能力を目標とする

! 注意したい点

  • 学習は事前学習と指示調整の二段階と説明
  • 提示の構築は言語グラウンディングと画像分割の処理に依存

よくある質問

二つの中核要素は?

資料は提示を符号化するマルチモーダル大規模言語モデルと、画像を生成する条件付きノイズ除去の拡散ネットワークを挙げる。

学習の手順は?

大規模な文章と画像の組で事前学習し、続けてマルチモーダルな提示で指示調整を行う。

最終評価日: 2026-11-15

その他 AI画像生成 ツール

すべて見る →

評価方法