本文へスキップ

mwp_ReFT

強化学習で言語モデルを微調整する

公式サイトを見る

mwp_ReFT とは

本企画はオープンソースの研究企画と説明され、深層強化学習で大規模言語モデルを微調整して課題の成績を高め、論文の結果を再現するコードとデータを用意する。

できること

  • SFT と ReFT の微調整を実行する
  • Online-SL と Offline-SL の自学習を使う
  • Top-1、Voting@100、Reranking で評価する

導入の手順

  • GitHub から保管庫を複製する
  • README の手引きに従い依存を入れる
  • 事前学習済みのモデルとチェックポイントを選ぶ
  • 訓練または評価のシェル脚本を走らせる

活用場面

  • 研究者が GSM8k で Codellama を微調整する
  • 開発者が mathqa で Galactica を微調整する
  • 研究チームが svamp で ReFT と ReFT-Rerank を試す

長所と短所

✓ 良い点

  • 事前学習済みのチェックポイントから複数の段階で始められる
  • 結果を再現するコードとデータが用意される

! 注意したい点

  • 訓練は README の手引きとシェル脚本に従う
  • 利用前に保管庫の複製が必要

よくある質問

基づくモデルは?

Codellama と Galactica が挙がり、Apache 2.0 ライセンスに従う。

どんな評価に対応?

Top-1、Voting@100、Reranking が挙がる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法