本文へスキップ

FlashMLA

Hopper GPU 向けに調整した MLA デコードカーネル

公式サイトを見る

flashmla とは

当カーネルは Hopper GPU 向けの効率的な MLA デコードカーネルと説明され、可変長のシーケンス処理を狙う。

できること

  • 用意された手順で導入する
  • 付属のベンチマークを走らせる
  • モジュールを読み込みスケジュール情報を取得する

注意点

  • CUDA 12.3 以降が示される前提
  • PyTorch 2.0 以降が示される前提
  • ページング KV キャッシュはブロック 64

長所と短所

✓ 良い点

  • Hopper GPU の加速を直接活かせる
  • PyTorch 2.0 との連携で既存案件に入れやすい

! 注意したい点

  • CUDA 12.3 以降が必要
  • 導入とベンチマークは利用者が実行する

よくある質問

必要な CUDA の版は?

資料では CUDA 12.3 以降に対応すると説明。

示される性能値は?

資料は H800 SXM5 で 3000 GB/s と 580 TFLOPS を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法