本文へスキップ

TOFU

機械忘却を測るためのベンチマークデータセット

公式サイトを見る
カテゴリ AIモデル

TOFU とは

本データセットは架空の著者による質疑応答の組からなり、微調整後の大規模言語モデルが情報を忘れる度合いを測る基準と説明されている。

できること

  • 複数の忘却割合で忘却を実行する
  • 微調整後の忘却性能を評価する
  • モデルごとの情報除去の差を比べる

モデルについて

  • 実在しない 200 人の著者を用いる
  • 質疑応答形式は対話モデルに合う
  • コードベースは Llama2 対話版と Phi-1.5 向け

長所と短所

✓ 良い点

  • Llama2、Mistral、Qwen が挙げられる
  • コードベースは他モデルにも合わせられる

! 注意したい点

  • 収録される著者は架空の存在
  • コードベースはまず Llama2 対話版と Phi-1.5 向け

よくある質問

中身は何?

実在しない 200 人の著者から作った架空の質疑応答の組と説明されている。

どのモデルが挙がる?

Llama2、Mistral、Qwen、Phi-1.5 が挙げられている。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法