本文へスキップ

RL4VLM

強化学習で視覚言語モデルを判断するエージェントに

公式サイトを見る

RL4VLM とは

RL4VLM は大きな視覚言語モデルを強化学習で判断するエージェントに変える公開企画と紹介され、LLaVA を土台に PPO 算法を使うと説明されている。

できること

  • 改訂された LLaVA モデルを使う
  • GymCards 環境で試す
  • 用意した SFT チェックポイントから強化学習を動かす

導入の手順

  • GitHub のページからコードを取得する
  • 必要な SFT チェックポイントを整える
  • GymCards か ALFWorld 向けに conda 環境を設ける

長所と短所

✓ 良い点

  • 詳しい訓練の流れとひな形の脚本が添付
  • 二種の conda 環境が異なる依存に合う

! 注意したい点

  • 導入には SFT チェックポイントの準備が要る
  • 二つの別々の conda 環境が説明される

よくある質問

算法は?

資料は強化学習の微調整に PPO を用いると説明。

環境は?

資料は GymCards と ALFWorld を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法