本文へスキップ

AgentCPM-GUI

スクリーンショットから操作するオープンソースの携帯 GUI エージェント

公式サイトを見る

AgentCPM-GUI とは

AgentCPM-GUI は中国語と英語のアプリ操作向けに設計されたオープンソースの携帯端末向け LLM エージェントと紹介され、利用者のスクリーンショットから自動でタスクを実行し、携帯端末での生産性向上を目指すと説明されている。

できること

  • 二言語 Android データセットで一般的な GUI 要素を理解する
  • 専用の調整で中国語アプリを操作する
  • 強化微調整で操作出力前に計画と推論を行う
  • 簡潔な JSON 形式のコンパクトな動作空間を使う

活用場面

  • Dianping でスクリーンショットと指示から飲食店情報を得る
  • Bilibili で指示を与え動画内容を自動閲覧する
  • Amap でモデルに経路案内とルート計画を実行させる

導入の手順

  • AgentCPM-GUI のコードをローカルに取得する
  • Python などの依存関係を導入する
  • モデルを取得し指定のディレクトリに置く
  • コードでモデルとトークナイザーを読み込み入力を用意する

長所と短所

✓ 良い点

  • 二言語の事前学習と中国語アプリ向け調整を併せ持つ
  • 操作前の推論で複雑なタスクの成功を狙う

! 注意したい点

  • タスク実行はスクリーンショットと利用者の指示に依存
  • 導入にはコードの取得、Python 依存関係、モデルの取得が要る

よくある質問

何を手がかりに動作する?

資料は利用者のスクリーンショットから自動でタスクを実行と説明。

対象はどの言語のアプリ?

中国語と英語のアプリケーション操作向けと説明されている。

最終評価日: 2026-11-15

その他 AIオフィスアシスタント ツール

すべて見る →

評価方法