本文へスキップ

RLLoggingBoard

細かな指標で RLHF 訓練を可視化する

公式サイトを見る

RLLoggingBoard とは

本ツールは人間からのフィードバックによる強化学習の訓練を可視化する道具と紹介され、細かな指標の監視を軸にすると説明される。

できること

  • 訓練曲線と得点分布を見る
  • 報酬や KL ダイバージェンスで応答を並べる
  • トークンごとの報酬・価値・確率を確かめる

活用場面

  • 押韻の課題で詩句が韻を踏むか調べる
  • 対話の課題で報酬分布を追う
  • 文章の課題で異常なトークンを見つける

長所と短所

✓ 良い点

  • 訓練フレームワークから切り離される
  • .jsonl 形式の指標に対応

! 注意したい点

  • 枠組み側に必要な指標の保存が要る
  • 参考モデルとの比較にも指標の保存が要る

よくある質問

形式は?

資料は .jsonl 形式に対応と説明。

起動は?

資料の流れは指標の保存、配置、依存の導入、bash start.sh の実行。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法