本文へスキップ

hallucination-leaderboard

短い要約の幻覚率で LLM に順位をつける

公式サイトを見る

hallucination-leaderboard とは

本プロジェクトは短い文書の要約における幻覚率で LLM に順位をつけるオープンソースの排行榜と説明されている。

できること

  • HHEM-2.1 で要約を評価する
  • 複数の LLM を比べて並べる
  • 幻覚と一致の指標を読む

応用場面

  • 幻覚率を比べて信頼できるモデルを選ぶ
  • 自作の LLM を評価する
  • 文章生成や応対向けのモデルを選ぶ

長所と短所

✓ 良い点

  • 資料には CNN/Daily Mail による要約試験が挙がる
  • 資料には API 経由の評価が挙がる

! 注意したい点

  • 多言語評価は今のところ英語が中心
  • 評価にはモデルと API の用意が必要

よくある質問

挙がる資料集は?

資料には CNN/Daily Mail が要約試験に挙がる。

挙がる指標は?

資料には幻覚率、事実一致率、回答率が挙がる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法