本文へスキップ

Q-RWKV-6 32B Instruct Preview

重み変換で得られた 32B の RWKV 系モデル

公式サイトを見る

Q-RWKV-6 32B Instruct Preview とは

本モデルは Qwen 32B Instruct の重みを独自の QRWKV6 構造へ移して得た RWKV 系の変種と紹介されている。

できること

  • 文章の分類と感情の分析に用いる
  • 資料を翻訳し言語をまたぐ情報を取り出す
  • チャットボットのやり取りを自然にする

モデルについて

  • 学習は 30 超の言語を対象にする
  • 資料は推論費用が 1000 倍超下がると記す
  • 変換は 8 時間で終わったとされる

導入の手順

  • Hugging Face か Featherless.ai を訪れる
  • 重みとコードをダウンロードする
  • 環境を整え文章を読み込ませる

長所と短所

✓ 良い点

  • 重みの変換により最初からの学習が要らない
  • 手法はより大きな Transformer 系にも広げられる

! 注意したい点

  • 手元での稼働には機器とソフトウェアの設定が要る
  • 変換には AMD MI300X を 16 台、各 192GB の VRAM で用いた

よくある質問

開発元は?

資料は Recursal AI を開発元とし、RWKV と EleutherAI の公開コミュニティとの共同を挙げる。

重みはどこで得られる?

手順では Hugging Face と Featherless.ai を探す先に挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法