本文へスキップ

Ferret-UI

モバイル UI 画面を理解し推論する

公式サイトを見る

Ferret-UI とは

本モデルはモバイル UI 画面の理解を高めるために作られた新しい MLLLM と紹介され、参照・位置特定・推論で UI 画面の課題を扱うと説明されている。高度な課題での対話能力も挙がる。

できること

  • UI 画面の要素を参照し位置を特定し推論する
  • あらゆる解像度の技術で細部を拡大し小さな対象を認識する
  • 高度な課題で対話を交わす
  • モバイル UI 画面に沿って定めた課題を扱う

活用場面

  • iOS 18 のアプリ画面を自動で操作する
  • モバイルアプリの UI 画面を認識し操作する
  • 高度な課題での対話能力を示す

モデルについて

  • 課題の設定と学習サンプルの収集が含まれる
  • モデルの構成とデータセットの構築が含まれる
  • モバイル UI 画面に特化して作られている

長所と短所

✓ 良い点

  • 拡大した細部で小さな対象の認識に対応
  • 参照・位置特定・推論が一つのモデルに揃う

! 注意したい点

  • 小さな対象の認識は拡大した細部に依存
  • 資料に挙がる課題はモバイル UI 画面を中心とする

よくある質問

あらゆる解像度の技術とは?

資料は細部を拡大し UI 画面の小さな対象の認識を解決すると説明。

どんな能力が挙がる?

資料は参照、位置特定、推論、高度な課題での対話能力を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法