本文へスキップ

CogAgent

視覚言語モデルを基盤にしたオープンソースの GUI エージェント

公式サイトを見る

CogAgent とは

本モデルは視覚言語モデルを基盤にしたオープンソースの端到端 GUI エージェントと紹介され、スクリーンショットと自然言語で中国語・英語を扱うと説明されている。

できること

  • スクリーンショットと自然言語で GUI とやり取りする
  • GUI の知覚と推論予測を行う
  • デスクトップアプリの操作を自動化する

導入の手順

  • Python 3.10.16 以上と依存を導入する
  • 出力形式と平台に合う命令行の引数で動かす
  • 入力画像を与え操作指令を受け取る

注意点

  • 出力は JSON を含まぬ厳密な文字列形式
  • 連続対話には対応しない
  • 境界ボックスの結果が操作領域を示す

長所と短所

✓ 良い点

  • スクリーンショットと自然言語がやり取りを動かす
  • 多段の学習と方策の改善が説明される

! 注意したい点

  • 出力は厳密な文字列で JSON 出力には対応しない
  • 連続対話は非対応だが実行履歴は使える

よくある質問

出力形式は?

資料は厳密な文字列形式で JSON 出力は非対応と説明。

基盤モデルはどれ?

資料は CogAgent-9B-20241220 が GLM-4V-9B を基盤と説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法