ZeroBench とは
本ベンチマークは難度の高い設問で大規模多モーダルモデルの視覚理解を測るものと紹介されている。
できること
- 主問と副問でモデルを評価する
- 複数の指標で結果を測る
- 公開データとコードで研究を再現する
活用場面
- 研究者がモデルを評価し改善する
- 開発者が視覚推論の手法を作る
- 企業がモデルを試し選ぶ
長所と短所
✓ 良い点
- 軽量な設計で大規模な試験に向く
- 設問は幾何計算や画像解析を扱う
! 注意したい点
- 評価は視覚の設問を軸に行われる
- 再現用にデータとコードが用意される
よくある質問
設問は何題?
資料は 100 の主問と 334 の副問を挙げる。
指標は?
機能一覧は pass@1 、pass@5 、5/5 の信頼性を挙げる。
最終評価日: 2026-11-15
その他 LLM APIプラットフォーム ツール
すべて見る →-
302.AI 数百の大規模モデルを単一の API に集約したクラウド 開発者ツール API連携 マルチモデルプラットフォーム モデルデプロイ LLM APIプラットフォーム -
360智脑开放平台 360 モデル API プラットフォーム API連携 マルチモデルプラットフォーム ナレッジベースQ&A 企業自動化 LLM APIプラットフォーム -
4o Image API 画像生成 API ゲートウェイ 無料ツール フリーミアムツール 開発者ツール API連携 LLM APIプラットフォーム -
AI-Flow ノーコードのマルチモデルワークフロー ワークフロー自動化 開発者ツール API連携 ナレッジベースQ&A LLM APIプラットフォーム -
AI/ML API 多数のモデルへの単一ゲートウェイ 開発者ツール API連携 マルチモーダル マルチモデルプラットフォーム LLM APIプラットフォーム -
Amazon Bedrock AWS のコード提案とセキュリティスキャン 無料ツール コードアシスタント IDE アプリ構築ツール LLM APIプラットフォーム