本文へスキップ

SliceGPT

行列を切り出して言語モデルを縮める

公式サイトを見る
カテゴリ AIモデル

SliceGPT とは

SliceGPT は学習後の疎化の手法と紹介され、重み行列を小さな密行列に置き換えて埋め込みの次元を減らすと説明されている。

できること

  • 学習済みモデルからパラメータを除く
  • 大規模モデルのメモリ消費を減らす
  • 少ない GPU で推論を速める

報告された結果

  • 最大 25 パーセントのパラメータを除去
  • ゼロショット性能は 99、99、90 パーセントを維持
  • 24GB の GPU で計算量は 64 パーセントに
  • 40GB の A100 GPU で 66 パーセントに

長所と短所

✓ 良い点

  • 追加のコード変更なしで少ない GPU で動く
  • 24GB の GPU で計算量が 64 パーセントに下がる

! 注意したい点

  • 手法は学習後の疎化を対象とする
  • 報告された数値は名の挙がるモデルによる

よくある質問

どれだけ除ける?

論文は埋め込みを含め最大 25 パーセントのパラメータと報告。

計算量はどこで測った?

資料は 24GB の民生 GPU と 40GB の A100 GPU を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法