Turtle Benchmark とは
本ツールは Turtle Soup ゲームに基づき大規模言語モデルの論理推論と文脈理解を試すベンチマーク。背景知識を排し、量化できる客観的結果を狙う。
できること
- 特定の推論タスクでモデルを比較する
- モデルが質問に正しく答えるか試す
- 評価の教材として活用する
始め方
- プロジェクトのフォルダへ移動する
- .env.example を .env に改名し鍵を入れる
- python evaluate.py で 2-shot 評価を行う
長所と短所
✓ 良い点
- 簡単なコマンド操作で評価できる
- 資料では結果が客観的で偏りがないとされる
! 注意したい点
- .env ファイルへ API 鍵を追加する
- 既定は 2-shot の評価コマンド
よくある質問
何を測る?
資料では大規模言語モデルの論理推論と文脈理解が挙げられている。
データ量は?
資料では 32 の独自の物語と 1,537 件の手作業注釈ラベルと説明。
最終評価日: 2026-11-15
その他 AIコーディングツール ツール
すべて見る →-
100 Vibe Coding 作りながら学ぶ vibe coding 無料ツール エンタープライズツール 開発者ツール API連携 コーディング -
10Web プロンプトから WordPress サイト(ホスティング付き) 無料ツール 開発者ツール ノーコード開発 コーディング サイト構築ツール -
16x Prompt AI コーディングのコンテキスト管理 無料ツール ワークフロー自動化 開発者ツール API連携 コーディング -
a0.dev チャットで作るモバイルアプリをストアへ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
Adalo ビジュアルキャンバスで作るノーコードアプリ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
AgentQL 自然言語でウェブからデータを抽出 フリーミアムツール 開発者ツール ブラウザ拡張機能 データ抽出 コーディング