本文へスキップ

Kosmos-2

自然言語と画像を結びつけるマルチモーダルなモデル

公式サイトを見る

Kosmos-2 とは

本モデルは自然言語と画像・動画などの入力を結びつけるマルチモーダル大規模言語モデルと説明されている。本フレームワークは画像とテキストの対からなる GRIT データセットを学習と評価に使う。

できること

  • 画像の中で句を対応付ける
  • 参照表現を理解し生成する
  • 画像に記述を付け視覚の質問に答える

活用場面

  • 画像の記述を生成する
  • 視覚の質問応答で回答する
  • 対象を指す表現を作る

注意点

  • 挙がる課題は視覚と言語の結びつきに集中する
  • 学習データは GRIT データセット
  • 入力形式として挙がるのは画像と動画

長所と短所

✓ 良い点

  • 画像と動画の入力が挙がる
  • GRIT の画像とテキストの対を学習に使う

! 注意したい点

  • 課題は視覚と言語の結びつきに集中する
  • 学習データは GRIT データセットと説明される

よくある質問

どのデータセット?

資料では画像とテキストの対からなる GRIT データセットが挙がる。

どんな課題が挙がる?

句の対応付け、参照表現、画像記述、視覚の質問応答。

最終評価日: 2026-11-15

その他 AI画像生成 ツール

すべて見る →

評価方法