本文へスキップ

Deepmark AI

自分のデータで LLM の基準評価を行う

公式サイトを見る

Deepmark AI とは

Deepmark AI は自分のデータ上で課題ごとの指標により大規模言語モデルを評価する基準の道具と説明されている。

できること

  • 独自の集合でモデルを評価する
  • 正確さと信頼性を試す
  • 費用、遅れ、失敗率を分析する

組み込みの API

  • GPT-4 と GPT-3.5 Turbo が挙がる
  • Anthropic、Cohere、AI21 が挙がる
  • 関連性と失敗率の指標が含まれる

長所と短所

✓ 良い点

  • 独自の集合に対応
  • 複数の API があらかじめ組み込まれる

! 注意したい点

  • 資料は指標が課題ごとと説明
  • 評価は利用者自身のデータで行う

よくある質問

どの API が挙がる?

資料は GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 を挙げる。

どんな指標?

信頼性、正確さ、費用、関連性、遅れ、失敗率。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法