本文へスキップ

Humanity's Last Exam

言語モデル向けの多分野の学術ベンチマーク

公式サイトを見る

Humanity's Last Exam とは

世界中の専門家が作った多様式の学術ベンチマークと紹介され、100 を超える分野の 3000 問で言語モデルを測る。

できること

  • 学術問題で言語モデルを比べる
  • 結果からモデルの弱点を見つける
  • AI の進展を読む手がかりにする

始め方

  • サイトで試験の規則を確認する
  • 公開データを取得し予備評価を行う
  • 結果を提出し指標の値を得る

長所と短所

✓ 良い点

  • 過学習を抑えるため非公開の試験集合を残す
  • 正答率とキャリブレーション誤差の評価が挙がる

! 注意したい点

  • 一部の問題は非公開の試験集合として残る
  • 評価は挙がる指標を通して示される

よくある質問

問題数は?

資料には 3000 問、100 超の分野と記載。

何を測る?

資料には正答率とキャリブレーション誤差が挙がる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法