本文へスキップ

RWKV-6 Mixture of Experts

疎な混合エキスパートを用いた RWKV-6 モデル

公式サイトを見る

RWKV-6 Mixture of Experts とは

資料はこれを疎な混合エキスパートを用いた RWKV-6 の実験的モデルと紹介し、一般的なベンチマークで Finch 14B とおおむね同等の得点と説明する。

できること

  • モデルで自然言語処理の作業を行う
  • 限られた機材で動作を確かめる
  • 案件に組み込みパラメータ効率を高める

モデルについて

  • ハッシュルーティングがトークンを各エキスパートへ均等に配る
  • 共有と新規のエキスパートが二幅の FFN を形づくる
  • 新規エキスパートは高い初期学習率から始まる

長所と短所

✓ 良い点

  • 疎な起動で学習と推論の時間を抑える
  • 新規エキスパートにトークンシフトを適用できる

! 注意したい点

  • 資料はこの構成が VRAM を余分に使うと説明
  • モデルは実験的と記される

よくある質問

挙がるモデルは?

資料は Flock of Finches 37B-A11B v0.1 を挙げる。

MoE で変わる点は?

どのトークンでも一部のパラメータだけが動く。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法