本文へスキップ

UI-TARS-desktop

視覚言語モデルで自然言語からコンピューターを操作

公式サイトを見る

UI-TARS-desktop とは

本アプリは ByteDance が開発し UI-TARS 視覚言語モデルに基づくデスクトップアプリと説明され、自然言語でコンピューターとやり取りしてさまざまな作業を行える。 自然言語の指示を理解し、スクリーンショットと視覚認識により正確なマウス・キーボード操作を実現する。

できること

  • 自然言語の指示でアプリを開く、文章を入力するなどパソコン操作を制御する
  • スクリーンショットと視覚認識で画面の要素を識別し操作する
  • 正確なマウス・キーボード操作で実際の利用者を模す
  • リアルタイムの通知で作業の状態を確認する

活用場面

  • 自然言語の指示でブラウザーを開き特定の内容を検索する
  • 音声の指示でソーシャルメディアにメッセージを投稿する
  • フォームを自動で記入しデータを送信する

導入の手順

  • GitHub から最新版の UI-TARS-desktop 導入ファイルをダウンロードする
  • Windows か macOS の環境に合わせてインストールする
  • 起動後に画面収録や補助機能などの権限を許可する
  • アプリを開き自然言語の指示を入力して使い始める

長所と短所

✓ 良い点

  • 正確なマウス・キーボード操作で実際の利用者の動きを再現
  • リアルタイムの通知で作業の状態がわかる

! 注意したい点

  • 本アプリは UI-TARS 視覚言語モデルを基盤とする
  • 操作はスクリーンショットと視覚認識に依存する

よくある質問

対応する OS は?

資料は Windows と macOS の両方への対応を説明。

入手方法は?

手順は GitHub から最新版の導入ファイルをダウンロードすることから始まり、プロジェクトは公開され無料で取得できる。

最終評価日: 2026-11-15

その他 AIオフィスアシスタント ツール

すべて見る →

評価方法