本文へスキップ

OpenScholar_ExpertEval

OpenScholar の文章を人が評価する画面

公式サイトを見る

OpenScholar_ExpertEval とは

本フレームワークは専門家による評価とデータ評価のための画面・スクリプト群と紹介され、OpenScholar とその検索拡張による科学文献の合成を支えると説明されている。

できること

  • 専門家としてモデル生成の文章に注釈を付ける
  • 検索拡張の生成を評価する
  • 評価結果を Excel に書き出す

導入の手順

  • README に従い仮想環境を作り依存を入れる
  • JSONL の事例を data フォルダに置く
  • ブラウザで http://localhost:5001 を開く

長所と短所

✓ 良い点

  • JSONL の事例を data フォルダに置く
  • 評価結果は既定でローカルのデータベースに残る

! 注意したい点

  • 各事例に提示と二つのモデルの出力が要る
  • 環境づくりは README の手順に従う

よくある質問

どう起動する?

資料は python app.py で評価画面が立ち上がると説明。

結果はどこに?

既定でローカルのデータベースに保管され Excel に書き出せる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法