本文へスキップ

Yuan2-M32-hf-int4

注意ルーターを用いる混合専門家の言語モデル

公式サイトを見る
カテゴリ AIモデル

Yuan2-M32-hf-int4 とは

本モデルは注意ルーターで専門家を効率良く選ぶ混合専門家の言語モデルと紹介されている。

できること

  • 推奨の docker イメージでコンテナを起動する
  • 文書に沿ってデータを整える
  • 学習用の脚本を走らせ vllm で配備する

長所と短所

✓ 良い点

  • 総 40 億のパラメータのうち 3.7 億だけが動く
  • MATH と ARC-Challenge で Llama3-70B を上回る

! 注意したい点

  • 設定と配備の手順は技術に慣れた人向け
  • 推論の配備は vllm の計画に沿う

よくある質問

動く専門家は何人?

資料は 32 人のうち 2 人と説明。

学習の規模は?

資料は 2000 億トークンでの最初からの学習と説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法