本文へスキップ

DeepGEMM

効率的な FP8 行列計算のための CUDA ライブラリ

公式サイトを見る

deepgemm とは

FP8 の行列計算を効率よく扱う CUDA のプロジェクトで、細かなスケール調整と全 JIT 設計を採る。

できること

  • 学習中の FP8 行列計算を速める
  • 推論で分组 GEMM により混合専門家を整える
  • 既存の深層学習の枠組みに組み込む

始め方

  • 副モジュールごと仓库を複製する
  • Python や CUDA、PyTorch の依存を入れる
  • 開発用の導入を行い JIT の試験を走らせる

長所と短所

✓ 良い点

  • スレッドの専門化や FFMA 命令の調整を含む
  • 中核が小さく学びやすく改めやすい

! 注意したい点

  • NVIDIA Hopper の Tensor Core が必要
  • Python 3.8 以降や CUDA 12.3 以降、PyTorch 2.1 以降が要る

よくある質問

中核の大きさは?

資料では約 300 行と説明される。

導入時に編譯は?

資料では全 JIT 設計で不要と説明される。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法