本文へスキップ

PixelLLM

言葉と画素を対応させる視覚と言語のモデル

公式サイトを見る

PixelLLM とは

本モデルは画像の位置推定を扱う視覚と言語のモデルと紹介され、説明文と画素の位置を結び付ける。

できること

  • 入力された位置から説明文を生成する
  • 入力された文章から画素の座標を生成する
  • 密な物体記述を扱う

モデルについて

  • 事前学習には Localized Narrative のデータを用いる
  • 学習の中で語と画素の対応が身に付く
  • RefCOCO と Visual Genome での結果が挙がる

長所と短所

✓ 良い点

  • 位置から文章へ、文章から位置への両方向を扱う
  • 事前学習で語と画素の対応を身に付ける

! 注意したい点

  • 課題は画像の位置推定に集中する
  • 名の挙がるデータは RefCOCO と Visual Genome

よくある質問

何を対応させる?

資料は Localized Narrative のデータで語と画素の対応を学ぶと説明。

挙がる課題は?

機能一覧は位置条件の記述、指示による位置推定、密な物体記述を挙げる。

最終評価日: 2026-11-15

その他 AI画像生成 ツール

すべて見る →

評価方法