本文へスキップ

Magma

視覚、言語、動作を結ぶマルチモーダル基盤モデル

公式サイトを見る

magma とは

本モデルは Microsoft Research によるマルチモーダル基盤モデルと説明され、視覚、言語、動作を結んで計画に使う。大規模な視覚言語データで事前学習される。

できること

  • 指示からウェブやモバイルの UI を操作する
  • 視覚入力からロボットの把持と配置を計画する
  • 動画の内容について質問に答える

主な特徴

  • SoM と ToM の手法
  • 未見の課題へのゼロショット適応
  • 画像、動画、言語の入力

始め方

  • 公式サイトか GitHub からモデルとコードを取得する
  • 課題に合う事前学習の版を選ぶ
  • 必要なら少量のラベル付きデータで微調整する
  • 画像、動画、文章の指示をモデルに渡す

長所と短所

✓ 良い点

  • 空間的な理解と動作の計画
  • 動画の質問応答に対応

! 注意したい点

  • 課題により少量のラベル付きデータで微調整
  • 課題ごとに事前学習の版を選ぶ

よくある質問

誰が公開した?

資料では Microsoft Research。

挙がる課題は?

UI 操作、ロボット操作、動画の質疑。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法