本文へスキップ

FlashAttention

メモリを抑えた正確な注意機構

公式サイトを見る

FlashAttention とは

本ライブラリは IO を意識した設計による Transformer 向けの公開された注意機構と説明されている。

できること

  • 少ないメモリで正確な注意計算を行う
  • 因果または非因果の注意機構を使う
  • 局所的な窓を滑らせる注意機構を適用する

長所と短所

✓ 良い点

  • 因果・非因果の注意機構に対応
  • 局所的な窓を滑らせる注意機構を含む

! 注意したい点

  • CUDA 11.6 と PyTorch 1.12 以降が必要
  • 導入は案内された手順に沿って行う

よくある質問

挙がる GPU は?

Ampere、Ada、Hopper。

対応するデータ型は?

FP16 と BF16。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法