PowerInfer_ Fast Large Language Model Serving with aConsumer-grade GPU
Abstract
本文提出 PowerInfer,一个面向配备单张消费级 GPU 的个人电脑的高速大语言模型(LLM)推理引擎。其设计的核心是利用 LLM 推理中高度局部化的访问特征:神经元的激活频率呈幂律分布。这意味着,一小部分被称为热神经元的神经元会在不同输入下频繁激活,而大多数被称为冷神经元的神经元,其激活情况则取决于具体输入。
基于这一观察,PowerInfer 设计了一个 GPU–CPU 混合推理引擎:将热神经元预先加载到 GPU 上以实现快速访问,并在 CPU 上计算冷神经元,从而显著减少 GPU 显存需求及 CPU–GPU 数据传输。此外,PowerInfer 结合了自适应预测器和神经元感知的稀疏算子,以提高利用激活稀疏性的效率。
实验表明,在单张 NVIDIA RTX 4090 GPU 上,PowerInfer 在包括 OPT-175B 在内的多种 LLM 上,相比 llama.cpp 实现了最高 11.69 倍的加速,同时保持模型准确性。对于 OPT-30B,PowerInfer 在消费级 RTX 4090 上的性能可与高端服务器级 A100 GPU 相媲美,达到其 82% 的 token 生成速度。
Background
显存不够,传统 offloading 又慢
在个人电脑上部署大模型,有两个主要问题:
- 显存装不下模型权重:比如 RTX 4090 只有 24 GB 显存。
- 放一部分到 CPU 会拖慢推理:CPU 内存带宽较低;如果不断把权重搬到 GPU,又受 PCIe 传输速度限制。
尤其在 decode 阶段,每次只生成一个 token,计算量相对小,但需要读取大量权重,所以速度很容易受内存带宽限制。
作者观察到:对具有 activation sparsity 的模型,一个 token 实际只激活部分神经元,而且不同神经元的激活频率非常不均匀。
| 类型 | 特点 | 适合放在哪里 |
|---|---|---|
| Hot neurons | 跨输入经常被激活 | GPU:带宽高、容量小 |
| Cold neurons | 只在特定输入下被激活 | CPU:容量大、带宽低 |
这里的“神经元”可以主要理解为 FFN/MLP 中的中间维度及其对应权重。
贡献:把激活规律变成硬件部署策略
我觉得它的贡献可以归成三点:
- 发现并利用激活局部性:神经元激活频率呈偏斜的幂律分布,因此有限显存可以优先容纳最常用的权重。
- 设计神经元粒度的 CPU–GPU 混合执行:同一层内部就可以拆开计算,GPU 算热神经元,CPU 算冷神经元。
- 实现配套系统机制:包括自适应激活预测器、神经元感知的稀疏算子,以及考虑硬件限制的离线放置优化。
论文实验中,相比 llama.cpp,最高达到 11.69× 加速;OPT-30B 在 RTX 4090 上达到其 A100 对照配置约 82% 的生成速度。这些是特定实验配置下的结果。
Method
① 离线 profiling 与 placement
先用样本输入统计每层神经元的激活频率,再结合显存容量、硬件带宽和通信开销,通过优化求解决定哪些神经元放 GPU、哪些放 CPU。
② 在线预测本次激活集合
每层用一个小型 predictor,根据当前输入预测哪些神经元会激活。
注意:hot 是长期统计属性,active 是当前 token 的属性。 热神经元也可能本次不用,冷神经元也可能本次需要。
③ CPU 与 GPU 并行计算
例如,本次预测激活的是 {3, 4, 5}:
- GPU 已存放热神经元
{3, 5, 7},所以只算3、5。 - CPU 存放其余神经元,所以只算
4。 - CPU 把计算结果传给 GPU,GPU 合并两边输出。
关键收益是:冷神经元权重留在 CPU 上直接计算,减少把大块权重搬到 GPU 的需要。 仍然存在输入和结果传输。
④ 用专门算子降低稀疏执行开销
它直接根据激活索引访问相关权重,不必每一步把矩阵转换成通用稀疏格式。预测器的大小也按层调整,避免预测本身占用过多显存和时间。
4. 怎样理解它的适用范围?
它最适合小 batch、逐 token 的 decode,以及激活比较稀疏的模型。
- Prefill 或大 batch:多个 token 的激活集合合起来可能覆盖大量神经元,稀疏优势下降;论文在长输入 prefill 时切换到 dense GPU 计算。
- 模型差异:ReLU 类模型的收益通常更明显;SiLU/SwiGLU 模型稀疏性较弱,收益也较小。
- 预测并非完全精确:论文报告质量损失很小,但不能把它理解成严格无误差的执行。