Promptfoo とは
本ライブラリは LLM のプロンプト品質の評価と試験のための道具と紹介され、試験項目の作成、評価指標の設定、既存の試験や CI の流れへの統合を助けると説明されている。異なるプロンプトとモデル出力を比べるための Web Viewer も用意される。
できること
- 試験項目の一覧を作成する
- 組み込みの評価指標または独自の指標を使う
- 異なるプロンプトとモデル出力を比べる
- 既存の試験と CI の流れに組み込む
使用例
- LLM が生成した文章が正確か評価する
- 異なるプロンプトがモデル出力に与える影響を試す
- 同じプロンプトで異なるモデルの結果を比べる
長所と短所
✓ 良い点
- 既存の試験と CI の流れに組み込める
- 評価指標は組み込みと独自定義の両方
! 注意したい点
- 評価は利用者が定める試験項目と指標から始まる
- 比較の対象はプロンプトとモデル出力
よくある質問
何を評価する?
資料は LLM のプロンプト品質の評価と、プロンプトやモデル出力の試験と説明。
既存の流れに組み込める?
資料は既存の試験と CI の流れへの統合と説明。
最終評価日: 2026-11-15
その他 AIコーディングツール ツール
すべて見る →-
100 Vibe Coding 作りながら学ぶ vibe coding 無料ツール エンタープライズツール 開発者ツール API連携 コーディング -
10Web プロンプトから WordPress サイト(ホスティング付き) 無料ツール 開発者ツール ノーコード開発 コーディング サイト構築ツール -
16x Prompt AI コーディングのコンテキスト管理 無料ツール ワークフロー自動化 開発者ツール API連携 コーディング -
a0.dev チャットで作るモバイルアプリをストアへ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
Adalo ビジュアルキャンバスで作るノーコードアプリ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
AgentQL 自然言語でウェブからデータを抽出 フリーミアムツール 開発者ツール ブラウザ拡張機能 データ抽出 コーディング