本文へスキップ

OmniParser-v2.0

UI のスクリーンショットを構造化された要素一覧へ

公式サイトを見る

OmniParser-v2.0 とは

本ツールはマイクロソフトによる画面解析の技術と紹介され、不揃いな UI のスクリーンショットを構造化された要素一覧に変えると説明されている。一覧には操作可能な領域の位置と、アイコンが果たす役割の説明が含まれるとされる。

できること

  • UI のスクリーンショットを構造化された形式に変える
  • 操作可能な領域とアイコンの機能説明を取り出す
  • OpenAI、DeepSeek、Qwen などの大規模モデルと連携する
  • PC や携帯端末のスクリーンショットを解析する

活用場面

  • 自動テストで画面の要素をすばやく見つける
  • AI アシスタントに、より正確な画面情報を渡す
  • Windows 11 の仮想環境で選んだ視覚モデルと共に画面を操作する

モデルについて

  • 資料は YOLOv8 と Florence-2 を深層学習のモデルに挙げる
  • 機能一覧は A100 で 1 フレーム平均 0.6 秒という遅延を挙げる
  • より整えられた大きなアイコン説明と位置のデータセットが挙がる
  • オープンソースのコードと詳細な文書が提供される

長所と短所

✓ 良い点

  • OpenAI、DeepSeek、Qwen などの大規模モデルと連携できる
  • PC と携帯端末など複数の機器の画面に対応する

! 注意したい点

  • 解析は YOLOv8 と Florence-2 によると説明される
  • 連携には選んだ大規模言語モデルが挙がる

よくある質問

出力は何?

操作可能な領域の位置とアイコンの機能説明を含む構造化された要素一覧。

解析の速さは?

機能一覧は A100 で 1 フレーム平均 0.6 秒という遅延を挙げる。

最終評価日: 2026-11-15

その他 AIデザインツール ツール

すべて見る →

評価方法