本文へスキップ

Skywork-MoE

146 億パラメータの混合専門家モデル

公式サイトを見る
カテゴリ AIモデル

Skywork-MoE とは

本モデルは Skywork-13B の密なチェックポイントを起点とする混合専門家モデルと紹介され、専門家の多様化と層ごとの補助損失の調整を扱うと説明されている。

できること

  • 146 億のパラメータと 16 の専門家
  • 専門家の多様化を促すゲート論理の正規化
  • Hugging Face、ModelScope、Wisemodel との互換

活用場面

  • C-Eval、MMLU、CMMLU などの基準で評価する
  • HuggingFace の推論例を動かす
  • 高速な配備の例を試す

長所と短所

✓ 良い点

  • 資料は高速な配備の方法を挙げる
  • 資料は 8*4090 上での稼働に触れる

! 注意したい点

  • 資料は Skywork-13B の密なチェックポイントを起点に挙げる
  • 資料は Grok-1、DBRX、Mistral 8*22、Deepseek-V2 を比較に挙げる

よくある質問

規模はどのくらい?

資料は 146 億のパラメータ、16 の専門家、22 億の稼働パラメータと説明。

挙がる機器は?

資料は 8xA100/A800 以上の GPU と 8*4090 での稼働を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法