本文へスキップ

Moonlight

Muon 最適化で鍛えた 16B の混合専門家モデル

公式サイトを見る

Moonlight とは

本モデルは Muon 最適化で訓練した 16B パラメータの混合専門家モデルと紹介され、大規模な学習の効率と安定性を高めると説明されている。

できること

  • 事前学習版か指示調整版を使う
  • テキストとコードを生成する
  • Hugging Face を通じて配置する
  • 大規模な分散学習を行う

導入の手順

  • Python 3.10・PyTorch・transformers を入れる
  • Hugging Face から学習済みの重みを取得する
  • transformers でモデルと分かち書きを読み込む
  • 数学の問いや対話などの入力を整える

長所と短所

✓ 良い点

  • Hugging Face に適合し配置と推論が容易
  • テキスト生成とコード生成の両方に対応

! 注意したい点

  • 環境には Python 3.10・PyTorch・transformers が挙がる
  • 読み込み前に学習済みの重みの取得が要る

よくある質問

規模はどれくらい?

資料は混合専門家型の 16B パラメータと説明。

挙がる評価は?

機能一覧は MMLU と BBH などを挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法