本文へスキップ

Turtle Benchmark

Turtle Soup を用いた不正耐性のあるベンチマーク

公式サイトを見る

Turtle Benchmark とは

本ツールは Turtle Soup ゲームに基づき大規模言語モデルの論理推論と文脈理解を試すベンチマーク。背景知識を排し、量化できる客観的結果を狙う。

できること

  • 特定の推論タスクでモデルを比較する
  • モデルが質問に正しく答えるか試す
  • 評価の教材として活用する

始め方

  • プロジェクトのフォルダへ移動する
  • .env.example を .env に改名し鍵を入れる
  • python evaluate.py で 2-shot 評価を行う

長所と短所

✓ 良い点

  • 簡単なコマンド操作で評価できる
  • 資料では結果が客観的で偏りがないとされる

! 注意したい点

  • .env ファイルへ API 鍵を追加する
  • 既定は 2-shot の評価コマンド

よくある質問

何を測る?

資料では大規模言語モデルの論理推論と文脈理解が挙げられている。

データ量は?

資料では 32 の独自の物語と 1,537 件の手作業注釈ラベルと説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法