本文へスキップ

Midscene.js

手順を描写して AI に UI 操作を任せる

公式サイトを見る

Midscene.js とは

Midscene.js は AI で UI 自動化を簡略化するツールと紹介され、マルチモーダルな大規模言語モデルが画面を理解し、描写された操作の手順に沿って動くと説明されている。

できること

  • 「.ai」「.aiQuery」「.aiAssert」で操作・抽出・検証を行う
  • コードを書かずブラウザ拡張機能で任意のページを試す
  • Puppeteer や Playwright の試験フレームワークに組み込む
  • 可視化レポートと Playground で途中のデータを眺める

資料に挙がる例

  • 「.ai」で検索欄にキーワードを入れ検索する
  • 「.aiQuery」で商品一覧から題名と価格を取り出す
  • Chrome 拡張機能で任意のページを素早く自動試験する

導入の手順

  • 公式サイトで対応するブラウザ拡張機能を入手する
  • 任意のページを開き自然言語の入力欄で操作を描写する
  • メソッドでスクリプトを書くか拡張機能に手順を記す
  • スクリプトを動かし AI に UI 操作を実行させる

長所と短所

✓ 良い点

  • 第三者のサービスを介さず選んだモデルへ直接データを送る
  • OpenAI GPT-4o など複数のマルチモーダルモデルから選べる

! 注意したい点

  • 操作は手順やデータ形式の描写に従って決まる
  • 利用には選んだマルチモーダルモデルへの接続が伴う

よくある質問

どんなメソッドが挙がる?

機能一覧は「.ai」「.aiQuery」「.aiAssert」を操作・抽出・検証用に挙げる。

組み込み手段は?

資料はブラウザ拡張機能、Puppeteer、Playwright、可視化レポートと Playground を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法