本文へスキップ

ZeroBench

多モーダルモデル向けの難度の高い視覚ベンチマーク

公式サイトを見る

ZeroBench とは

本ベンチマークは難度の高い設問で大規模多モーダルモデルの視覚理解を測るものと紹介されている。

できること

  • 主問と副問でモデルを評価する
  • 複数の指標で結果を測る
  • 公開データとコードで研究を再現する

活用場面

  • 研究者がモデルを評価し改善する
  • 開発者が視覚推論の手法を作る
  • 企業がモデルを試し選ぶ

長所と短所

✓ 良い点

  • 軽量な設計で大規模な試験に向く
  • 設問は幾何計算や画像解析を扱う

! 注意したい点

  • 評価は視覚の設問を軸に行われる
  • 再現用にデータとコードが用意される

よくある質問

設問は何題?

資料は 100 の主問と 334 の副問を挙げる。

指標は?

機能一覧は pass@1 、pass@5 、5/5 の信頼性を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法