本文へスキップ

PowerInfer

コンシューマー向け GPU で大規模言語モデルの推論を高速に

公式サイトを見る
カテゴリ AIモデル

PowerInfer とは

本エンジンは個人のパソコンでコンシューマー向け GPU を用い、大規模言語モデルの推論を高速に行うものと説明されている。 LLM 推論の局所性を生かしホットなニューロンを GPU に事前読み込みすることで、GPU メモリの要求と CPU-GPU 間の転送を抑える。

できること

  • スパース活性化とホット/コールドなニューロンで効率的な LLM 推論を行う
  • CPU と GPU のメモリと計算力を組み合わせ負荷分散を図る
  • 一般的な ReLU スパースモデルに対応する
  • コンシューマー向け機器へローカル導入し低遅延の推論と提供を行う

モデルと性能について

  • 適応型予測器とニューロン認識のスパース演算子を統合する
  • 資料は 1 枚の NVIDIA RTX 4090 GPU で毎秒平均 13.20 トークンと記載
  • その速度はサーバー級 A100 GPU より 18% 低いと説明される
  • 共通のモデル重みでの推論に対応するが性能向上はない

長所と短所

✓ 良い点

  • CPU と GPU のメモリと計算力を組み合わせ負荷分散を実現
  • GPU メモリの要求と CPU-GPU 間の転送を低減

! 注意したい点

  • 共通のモデル重みの再利用では性能向上がない
  • 推論前にホットなニューロンを GPU へ事前読み込みする必要がある

よくある質問

記載の速度はどの機器による?

資料は 1 枚の NVIDIA RTX 4090 GPU で毎秒平均 13.20 トークン、サーバー級 A100 GPU より 18% 低いと説明。

共通のモデル重みは使える?

資料は共通のモデル重みでの推論を挙げ、性能向上はないと説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法