本文へスキップ

PowerInfer-2

スマートフォンで大規模 MoE モデルを少ないメモリで動かす

公式サイトを見る

PowerInfer-2 とは

本枠組みはスマートフォン向けに調整された推論枠組みと紹介され、異種計算と I/O-Compute の流れでメモリ使用を抑えると説明されている。

できること

  • 47B パラメータまでの MoE モデルを動かす
  • 計算単位の大きさを動的に変える

注意点

  • 資料が想定する機器はスマートフォン
  • モデルの疎性設定が手順に挙がる

長所と短所

✓ 良い点

  • 資料はメモリ使用が大きく減ると説明
  • 端末内での配置はプライバシーを高めると記載

! 注意したい点

  • 資料が想定する機器はスマートフォン
  • モデルの疎性設定が手順に挙がる

よくある質問

示された速度は?

資料は毎秒 11.68 トークン、他より 22 倍速いと説明。

対応する規模は?

資料は 47B パラメータまでの MoE モデルと説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法