本文へスキップ

OmniParser V2

UI スクリーンショットを LLM 向けの構造化要素へ

公式サイトを見る

OmniParser V2 とは

OmniParser V2 はマイクロソフトの研究チームが開発した技術と紹介され、LLM がグラフィカルな画面を理解し操作するのを助ける。UI の画面をピクセル空間から解釈できる構造化要素へ変え、アイコンを見つけて画面上で決められた動作を実行できるようにする。

できること

  • UI の画面を LLM 向けの構造化要素に変換する
  • 小さなアイコンを検出し画面の操作領域と結び付ける
  • OpenAI、DeepSeek、Qwen などの LLM と組み合わせる
  • OmniTool を使い実験と開発を速める

活用場面

  • 自動テストで画面要素を見つけ試験の手順を実行する
  • 顧客対応の場面で画面を読み取り操作の助言を出す
  • GPT-4o と組み合わせ高精細な画面の GUI グラウンディングに用いる

導入の手順

  • GitHub から OmniParser V2 のコードを取得する
  • OmniTool を入れ必要な LLM の環境を設定する
  • モデルで UI の画面を解析し構造化要素を取り出す
  • 解析の結果を選んだ LLM に渡し操作の指示を作る

長所と短所

✓ 良い点

  • OpenAI、DeepSeek、Qwen などの LLM と組み合わせられる
  • アイコン見出しのモデルの画像を小さくし推論遅延を下げる

! 注意したい点

  • 資料が挙げる解析の起点は UI の画面
  • 資料の精度の数値は GPT-4o と ScreenSpot Pro に対応

よくある質問

画面をどう扱う?

資料は UI の画面を解釈できる構造化要素へ変えると説明。

どの LLM が挙がる?

資料は OpenAI、DeepSeek、Qwen などを組み合わせ先に挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法