hallucination-leaderboard とは
本プロジェクトは短い文書の要約における幻覚率で LLM に順位をつけるオープンソースの排行榜と説明されている。
できること
- HHEM-2.1 で要約を評価する
- 複数の LLM を比べて並べる
- 幻覚と一致の指標を読む
応用場面
- 幻覚率を比べて信頼できるモデルを選ぶ
- 自作の LLM を評価する
- 文章生成や応対向けのモデルを選ぶ
長所と短所
✓ 良い点
- 資料には CNN/Daily Mail による要約試験が挙がる
- 資料には API 経由の評価が挙がる
! 注意したい点
- 多言語評価は今のところ英語が中心
- 評価にはモデルと API の用意が必要
よくある質問
挙がる資料集は?
資料には CNN/Daily Mail が要約試験に挙がる。
挙がる指標は?
資料には幻覚率、事実一致率、回答率が挙がる。
最終評価日: 2026-11-15
その他 LLM APIプラットフォーム ツール
すべて見る →-
302.AI 数百の大規模モデルを単一の API に集約したクラウド 開発者ツール API連携 マルチモデルプラットフォーム モデルデプロイ LLM APIプラットフォーム -
360智脑开放平台 360 モデル API プラットフォーム API連携 マルチモデルプラットフォーム ナレッジベースQ&A 企業自動化 LLM APIプラットフォーム -
4o Image API 画像生成 API ゲートウェイ 無料ツール フリーミアムツール 開発者ツール API連携 LLM APIプラットフォーム -
AI-Flow ノーコードのマルチモデルワークフロー ワークフロー自動化 開発者ツール API連携 ナレッジベースQ&A LLM APIプラットフォーム -
AI/ML API 多数のモデルへの単一ゲートウェイ 開発者ツール API連携 マルチモーダル マルチモデルプラットフォーム LLM APIプラットフォーム -
Amazon Bedrock AWS のコード提案とセキュリティスキャン 無料ツール コードアシスタント IDE アプリ構築ツール LLM APIプラットフォーム