本文へスキップ

promptbench

言語モデルを評価する統合 Python パッケージ

公式サイトを見る
カテゴリ AIモデル

promptbench とは

本枠組みは PyTorch ベースの Python パッケージで、使いやすい API から大規模言語モデルを評価します。評価の統合ライブラリと位置づけられています。

主な機能

  • モデル性能を手早く評価する
  • プロンプト設計と動的な評価
  • DyVal で評価用のサンプルを生成する

長所と短所

✓ 良い点

  • 既存のデータセットとモデルをすぐ評価できる
  • 自分用のデータセットとモデルを組み込める

! 注意したい点

  • 利用は PyTorch の Python パッケージが前提
  • 自分用のデータセットは利用者が定義する

よくある質問

土台は何?

PyTorch ベースの Python パッケージです。

自前のデータは使える?

資料ではデータセットを自由に用意できると説明されています。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法