カテゴリ AIモデル評価
MMStar とは
本ベンチマークは大型視覚言語モデルのマルチモーダル能力を評価するベンチマークセットと紹介されている。
できること
- 多くの課題でモデルを評価する
- 漏洩の問題を見つける
- 改良の手がかりを得る
ベンチマークの設計
- サンプルを人手でレビューする
- 6 の中核能力を扱う
- 漏洩と伸びの指標を加える
長所と短所
✓ 良い点
- 二つの新しい指標が提案される
- 16 種のモデルを評価と記載
! 注意したい点
- サンプルは視覚依存性が要ると記載
- 漏洩の指標はサンプル設計に依存
よくある質問
サンプルは何件?
資料は厳選された 1500 件と説明。
正解率以外に何を加える?
資料はデータ漏洩とマルチモーダル伸びの指標と説明。
最終評価日: 2026-11-15
その他 LLM APIプラットフォーム ツール
すべて見る →-
302.AI 数百の大規模モデルを単一の API に集約したクラウド 開発者ツール API連携 マルチモデルプラットフォーム モデルデプロイ LLM APIプラットフォーム -
360智脑开放平台 360 モデル API プラットフォーム API連携 マルチモデルプラットフォーム ナレッジベースQ&A 企業自動化 LLM APIプラットフォーム -
4o Image API 画像生成 API ゲートウェイ 無料ツール フリーミアムツール 開発者ツール API連携 LLM APIプラットフォーム -
AI-Flow ノーコードのマルチモデルワークフロー ワークフロー自動化 開発者ツール API連携 ナレッジベースQ&A LLM APIプラットフォーム -
AI/ML API 多数のモデルへの単一ゲートウェイ 開発者ツール API連携 マルチモーダル マルチモデルプラットフォーム LLM APIプラットフォーム -
Amazon Bedrock AWS のコード提案とセキュリティスキャン 無料ツール コードアシスタント IDE アプリ構築ツール LLM APIプラットフォーム