本文へスキップ

DeepEP

MoE と専門家並列のための通信ライブラリ

公式サイトを見る

DeepEP とは

本ライブラリは混合専門家モデルに向けた通信ライブラリと紹介され、高スループットと低遅延の GPU カーネルを備える。

できること

  • 高スループットのカーネルでディスパッチと結合を行う
  • NVLink 域から RDMA 域へデータを転送する
  • 純粋な RDMA の低遅延カーネルで復号する

動作の要件

  • Hopper 系 GPU と RDMA 機器が挙がる
  • Python 3.8 と CUDA 12.3 以上が挙がる
  • 導入前に NVSHMEM を準備する

長所と短所

✓ 良い点

  • 純粋な RDMA の低遅延カーネルが挙がる
  • SM 数の制御に対応する

! 注意したい点

  • Hopper 系 GPU と RDMA 機器が必要と挙がる
  • 実装は DeepSeek-V3 の論文と少し異なる

よくある質問

対象は何?

資料は混合専門家モデルの通信と専門家並列を説明する。

必要なものは?

Hopper 系 GPU・RDMA 機器・Python 3.8・CUDA 12.3・PyTorch 2.1・NVSHMEM が挙がる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法