Ferret-UI とは
本モデルはモバイル UI 画面の理解を高めるために作られた新しい MLLLM と紹介され、参照・位置特定・推論で UI 画面の課題を扱うと説明されている。高度な課題での対話能力も挙がる。
できること
- UI 画面の要素を参照し位置を特定し推論する
- あらゆる解像度の技術で細部を拡大し小さな対象を認識する
- 高度な課題で対話を交わす
- モバイル UI 画面に沿って定めた課題を扱う
活用場面
- iOS 18 のアプリ画面を自動で操作する
- モバイルアプリの UI 画面を認識し操作する
- 高度な課題での対話能力を示す
モデルについて
- 課題の設定と学習サンプルの収集が含まれる
- モデルの構成とデータセットの構築が含まれる
- モバイル UI 画面に特化して作られている
長所と短所
✓ 良い点
- 拡大した細部で小さな対象の認識に対応
- 参照・位置特定・推論が一つのモデルに揃う
! 注意したい点
- 小さな対象の認識は拡大した細部に依存
- 資料に挙がる課題はモバイル UI 画面を中心とする
よくある質問
あらゆる解像度の技術とは?
資料は細部を拡大し UI 画面の小さな対象の認識を解決すると説明。
どんな能力が挙がる?
資料は参照、位置特定、推論、高度な課題での対話能力を挙げる。
最終評価日: 2026-11-15
その他 AIコーディングツール ツール
すべて見る →-
100 Vibe Coding 作りながら学ぶ vibe coding 無料ツール エンタープライズツール 開発者ツール API連携 コーディング -
10Web プロンプトから WordPress サイト(ホスティング付き) 無料ツール 開発者ツール ノーコード開発 コーディング サイト構築ツール -
16x Prompt AI コーディングのコンテキスト管理 無料ツール ワークフロー自動化 開発者ツール API連携 コーディング -
a0.dev チャットで作るモバイルアプリをストアへ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
Adalo ビジュアルキャンバスで作るノーコードアプリ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
AgentQL 自然言語でウェブからデータを抽出 フリーミアムツール 開発者ツール ブラウザ拡張機能 データ抽出 コーディング