本文へスキップ

ScholarQABench

科学文献の統合における LLM の力を測る

公式サイトを見る

ScholarQABench とは

本場は OpenScholar 由来の総合的な評価の枠組みと紹介され、科学文献の統合における LLM の力を測る。

できること

  • 計算機科学の論文で質問応答の仕組みを評価する
  • 学生に文献上のモデル評価を教える
  • 生物医学研究向けのモデルを試し改める

備わる機能

  • 評価スクリプトと分野別のデータファイル
  • 計算機科学・生物医学・神経科学のデータセット
  • 正確さと引用の完全性を含む評価指標

長所と短所

✓ 良い点

  • 自らの推論結果を評価するスクリプトがある
  • 回答変換用のスクリプトが用意される

! 注意したい点

  • 評価は短い回答から長い回答までを扱う
  • 準備は説明書に沿った仮想環境の構築から始まる

よくある質問

何を評価する?

資料は複数分野の科学文献の統合における LLM の働きを測ると説明。

どの分野が挙がる?

資料は計算機科学、生物医学、神経科学を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法