deepeval とは
DeepEval は LLM の回答を評価する単体テストの枠組みと紹介され、関連性・事実の一貫性・毒性・偏りを測る指標を備える。パイプライン向けに Python になじみやすいオフライン評価の方法を提供すると説明されている。
できること
- 回答の関連性と事実の一貫性をテストする
- LLM の回答にある毒性と偏りをテストする
- 合成クエリと回答の組で自動評価する
- Web UI でテストの閲覧・実装・比較を行う
活用場面
- ChatGPT の回答に関連性と一貫性の単体テストを行う
- LangChain 系のアプリで自動テストを行う
- 合成クエリでモデルの問題を素早く見つける
想定する使い方
- 言語モデルアプリのさまざまな側面を評価する
- CI/CD と組み合わせて自動テストを行う
- 言語モデルの改良を素早く繰り返す
長所と短所
✓ 良い点
- Python になじみやすいオフライン評価の方法を用意
- LangChain などの一般的な枠組みとの連携が記載される
! 注意したい点
- 指標は関連性・一貫性・毒性・偏りに集中する
- 自動評価は合成クエリと回答の組に依存
よくある質問
何を評価する?
資料は回答の関連性・事実の一貫性・毒性・偏りを挙げる。
資料では何に例えられる?
概要ではパイプライン向けの Pytest に例えられる。
最終評価日: 2026-11-15
その他 AIコーディングツール ツール
すべて見る →-
100 Vibe Coding 作りながら学ぶ vibe coding 無料ツール エンタープライズツール 開発者ツール API連携 コーディング -
10Web プロンプトから WordPress サイト(ホスティング付き) 無料ツール 開発者ツール ノーコード開発 コーディング サイト構築ツール -
16x Prompt AI コーディングのコンテキスト管理 無料ツール ワークフロー自動化 開発者ツール API連携 コーディング -
a0.dev チャットで作るモバイルアプリをストアへ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
Adalo ビジュアルキャンバスで作るノーコードアプリ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
AgentQL 自然言語でウェブからデータを抽出 フリーミアムツール 開発者ツール ブラウザ拡張機能 データ抽出 コーディング