本文へスキップ

torchao

PyTorch モデルを量子化し疎にする

公式サイトを見る

torchao とは

torchao は独自のデータ型で重み・勾配・最適化器・活性化を量子化し疎くする PyTorch のライブラリと説明されている。

できること

  • 後訓練量子化か QAT を適用する
  • 長い文脈の推論向けに KV キャッシュを量子化する
  • scaled float8 の学習か 2:4 の疎化を使う

活用例

  • 画像分割モデルを量子化し推論を速める
  • 言語モデルに QAT を適用する
  • 拡散モデルの推論でメモリ使用を減らす

長所と短所

✓ 良い点

  • torch.compile() と FSDP2 に適合する
  • 開発者向け API で独自の量子化手法を組める

! 注意したい点

  • 量子化の手法はモデルごとに選ぶ
  • 手元での利用はライブラリの導入から始まる

よくある質問

何を量子化する?

資料は重み・勾配・最適化器・活性化を挙げる。

長い文脈には対応する?

資料は長い文脈の推論向けに KV キャッシュ量子化を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法