本文へスキップ

MMStar

視覚言語モデル向けのベンチマーク

公式サイトを見る
カテゴリ AIモデル評価

MMStar とは

本ベンチマークは大型視覚言語モデルのマルチモーダル能力を評価するベンチマークセットと紹介されている。

できること

  • 多くの課題でモデルを評価する
  • 漏洩の問題を見つける
  • 改良の手がかりを得る

ベンチマークの設計

  • サンプルを人手でレビューする
  • 6 の中核能力を扱う
  • 漏洩と伸びの指標を加える

長所と短所

✓ 良い点

  • 二つの新しい指標が提案される
  • 16 種のモデルを評価と記載

! 注意したい点

  • サンプルは視覚依存性が要ると記載
  • 漏洩の指標はサンプル設計に依存

よくある質問

サンプルは何件?

資料は厳選された 1500 件と説明。

正解率以外に何を加える?

資料はデータ漏洩とマルチモーダル伸びの指標と説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法