本文へスキップ

deepeval

LLM アプリのパイプラインを Pytest 風に評価

公式サイトを見る

deepeval とは

DeepEval は LLM の回答を評価する単体テストの枠組みと紹介され、関連性・事実の一貫性・毒性・偏りを測る指標を備える。パイプライン向けに Python になじみやすいオフライン評価の方法を提供すると説明されている。

できること

  • 回答の関連性と事実の一貫性をテストする
  • LLM の回答にある毒性と偏りをテストする
  • 合成クエリと回答の組で自動評価する
  • Web UI でテストの閲覧・実装・比較を行う

活用場面

  • ChatGPT の回答に関連性と一貫性の単体テストを行う
  • LangChain 系のアプリで自動テストを行う
  • 合成クエリでモデルの問題を素早く見つける

想定する使い方

  • 言語モデルアプリのさまざまな側面を評価する
  • CI/CD と組み合わせて自動テストを行う
  • 言語モデルの改良を素早く繰り返す

長所と短所

✓ 良い点

  • Python になじみやすいオフライン評価の方法を用意
  • LangChain などの一般的な枠組みとの連携が記載される

! 注意したい点

  • 指標は関連性・一貫性・毒性・偏りに集中する
  • 自動評価は合成クエリと回答の組に依存

よくある質問

何を評価する?

資料は回答の関連性・事実の一貫性・毒性・偏りを挙げる。

資料では何に例えられる?

概要ではパイプライン向けの Pytest に例えられる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法