Humanity's Last Exam とは
世界中の専門家が作った多様式の学術ベンチマークと紹介され、100 を超える分野の 3000 問で言語モデルを測る。
できること
- 学術問題で言語モデルを比べる
- 結果からモデルの弱点を見つける
- AI の進展を読む手がかりにする
始め方
- サイトで試験の規則を確認する
- 公開データを取得し予備評価を行う
- 結果を提出し指標の値を得る
長所と短所
✓ 良い点
- 過学習を抑えるため非公開の試験集合を残す
- 正答率とキャリブレーション誤差の評価が挙がる
! 注意したい点
- 一部の問題は非公開の試験集合として残る
- 評価は挙がる指標を通して示される
よくある質問
問題数は?
資料には 3000 問、100 超の分野と記載。
何を測る?
資料には正答率とキャリブレーション誤差が挙がる。
最終評価日: 2026-11-15
その他 LLM APIプラットフォーム ツール
すべて見る →-
302.AI 数百の大規模モデルを単一の API に集約したクラウド 開発者ツール API連携 マルチモデルプラットフォーム モデルデプロイ LLM APIプラットフォーム -
360智脑开放平台 360 モデル API プラットフォーム API連携 マルチモデルプラットフォーム ナレッジベースQ&A 企業自動化 LLM APIプラットフォーム -
4o Image API 画像生成 API ゲートウェイ 無料ツール フリーミアムツール 開発者ツール API連携 LLM APIプラットフォーム -
AI-Flow ノーコードのマルチモデルワークフロー ワークフロー自動化 開発者ツール API連携 ナレッジベースQ&A LLM APIプラットフォーム -
AI/ML API 多数のモデルへの単一ゲートウェイ 開発者ツール API連携 マルチモーダル マルチモデルプラットフォーム LLM APIプラットフォーム -
Amazon Bedrock AWS のコード提案とセキュリティスキャン 無料ツール コードアシスタント IDE アプリ構築ツール LLM APIプラットフォーム