本文へスキップ

DeepSeek-V3

671B パラメータの MoE 言語モデル

公式サイトを見る

DeepSeek-V3 とは

DeepSeek-V3 は Mixture-of-Experts (MoE) の言語モデルと紹介され、総パラメータ 671B、一度に活性化するのは 37B で、Multi-head Latent Attention (MLA) と DeepSeekMoE の構 成を採ると説明されている。

モデルの特徴

  • 14.8 兆の高品質トークンで事前学習を行う
  • 補助損失なしの負荷分散と複数トークン予測
  • FP8 混合精度の学習枠組みを採用

活用場面

  • 金融の分野でニュースや報告書を分析し要点を取り出す
  • 医療の分野で医学文献を読み解き創薬や症例研究を助ける
  • 教育の分野で学生や研究者の資料収集を支える

導入の手順

  • GitHub のリポジトリを複製し依存パッケージを導入する
  • HuggingFace から重みを取得し指定の場所に置く
  • 必要ならスクリプトで FP8 を BF16 に変える

長所と短所

✓ 良い点

  • FP8 混合精度の学習枠組みを採用
  • HuggingFace で 685B の重みを配布

! 注意したい点

  • ローカル実行にはリポジトリの複製と依存の導入が要る
  • FP8 の重みは必要なら BF16 への変換が要る

よくある質問

モデルの規模は?

資料は総パラメータ 671B、一度の活性化 37B と説明。

重みはどこで?

HuggingFace の 685B 配布に 671B の本体の重みと 14B の予測モジュールを含む。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法