本文へスキップ

TAG-Bench

データベースへの質問応答を測る基準試験

公式サイトを見る

TAG-Bench とは

本基準は自然言語処理モデルがデータベースへの問いに答える力を評価し研究するものと紹介されている。BIRD Text2SQL を土台に、世界知識や意味的な推論を求める。

できること

  • 複雑な問いでモデルを測る
  • 問いを扱う仕組みを整える
  • 授業でデータベースへの質問応答を示す

導入の手順

  • 作業用の環境を作り依存を入れる
  • BIRD のデータを取得し Pandas DataFrames に変換する
  • 表に索引を作り問いのファイルを編集する

長所と短所

✓ 良い点

  • Pandas DataFrames でデータベース環境を模せる
  • 詳しい設定の案内が用意される

! 注意したい点

  • 表の索引作成には GPU が推奨される
  • 問いには蓄えられた情報の外の知識が要る場合がある

よくある質問

問いは何個?

資料は BIRD Text2SQL 上の 80 の複雑な問いと説明。

評価方式は?

資料は手書き TAG、Text2SQL、Text2SQL+LM、RAG、検索と LM の順位付けを挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法