本文へスキップ

T-MAC

CPU 上で低ビット LLM 推論を速めるカーネル群

公式サイトを見る
カテゴリ AIモデル

T-MAC とは

本カーネル群は参照表を用いて CPU 上の低ビット LLM 推論を速め、脱量子化を要さないと説明されている。

できること

  • 混合精度の行列積を直接こなす
  • 1〜4 ビットの量子化 Llama を動かす
  • Windows ARM へそのまま配備する
  • CPU コアの使用と消費電力を抑える

導入の手順

  • TVM 向けに Python 3.8 を入れる
  • cmake 3.22 以降と依存を揃える
  • 仮想環境で pip から T-MAC を入れる
  • 付属の脚本を動かすか llama.cpp と組む

モデルについて

  • 資料は単一コアで毎秒 20 トークンを挙げる
  • 四コアでは毎秒 48 トークンと記される
  • 資料は llama.cpp に対し 4〜5 倍と比べる

長所と短所

✓ 良い点

  • 資料は llama.cpp の 4〜5 倍と説明
  • CPU コアの使用と消費電力を抑える

! 注意したい点

  • Python 3.8 と cmake 3.22 以降が要る
  • 導入は仮想環境と pip を使う

よくある質問

速度の数値は?

資料は単一コア毎秒 20・四コア毎秒 48 トークンと説明。

どの環境が挙がる?

資料は OSX・Linux・Windows ARM・Intel CPU を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法