本文へスキップ

Promptfoo

試験項目で LLM のプロンプトを評価・比較

公式サイトを見る

Promptfoo とは

本ライブラリは LLM のプロンプト品質の評価と試験のための道具と紹介され、試験項目の作成、評価指標の設定、既存の試験や CI の流れへの統合を助けると説明されている。異なるプロンプトとモデル出力を比べるための Web Viewer も用意される。

できること

  • 試験項目の一覧を作成する
  • 組み込みの評価指標または独自の指標を使う
  • 異なるプロンプトとモデル出力を比べる
  • 既存の試験と CI の流れに組み込む

使用例

  • LLM が生成した文章が正確か評価する
  • 異なるプロンプトがモデル出力に与える影響を試す
  • 同じプロンプトで異なるモデルの結果を比べる

長所と短所

✓ 良い点

  • 既存の試験と CI の流れに組み込める
  • 評価指標は組み込みと独自定義の両方

! 注意したい点

  • 評価は利用者が定める試験項目と指標から始まる
  • 比較の対象はプロンプトとモデル出力

よくある質問

何を評価する?

資料は LLM のプロンプト品質の評価と、プロンプトやモデル出力の試験と説明。

既存の流れに組み込める?

資料は既存の試験と CI の流れへの統合と説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法