THUNDERKITTENS_Simple, Fast, and Adorable Kernels
Abstract
将 AI 模型架构高效映射到 GPU 硬件,正成为 AI 发展的一个关键瓶颈。尽管研究者投入了大量精力,手工编写的定制计算内核仍无法达到理论性能上限,即使在线性注意力这类已有充分研究的运算上也是如此。GPU 所具备的多种硬件能力,似乎意味着我们需要大量不同的技术才能实现高性能。然而,本文探索了另一种可能:少量关键抽象能否大幅简化这一过程?
我们提出 ThunderKittens(TK),一个兼顾易用性与高性能的 AI 计算内核编程框架。其抽象分别对应 GPU 层次结构的三个层级:
- Warp 层级:提供以 16×16 矩阵块(tile) 为基础的数据结构,以及类似 PyTorch 的操作。
- 线程块(thread block)层级:提供支持不同操作异步重叠执行的程序模板。
- Grid 层级:帮助隐藏线程块启动、结束及内存访问带来的开销。
我们通过一系列简洁且覆盖多种运算的计算内核,展示了 TK 的价值:这些内核的性能达到或超过了已有最佳实现。在矩阵乘法(GEMM)和注意力推理上,TK 分别达到 cuBLAS 和 FlashAttention-3 的性能水平;在注意力反向传播上,比最强基线快 10%–40%;在状态空间模型和线性注意力上,分别实现最高约 8 倍和 14 倍的加速。
| 工具 | 论文讨论的取舍 |
|---|---|
| CUDA / CUTLASS | 控制能力强,但高性能实现复杂 |
| Triton 等高层工具 | 写起来简单,但论文指出某些硬件指令、异步调度和寄存器管理较难控制 |
| ThunderKittens | 用少量抽象简化开发,同时保留 CUDA 的控制能力 |
Method
对应 GPU 的三个层级
① Warp 层:用 tile 表达计算,自动管理内存布局。
Warp 是协同执行的一组 GPU 线程。TK 以 16×16 矩阵块(tile) 为基本单元,并支持由它组成的更大块。
开发者可以对 tile 做类似 PyTorch 的操作:矩阵乘法、exp、逐元素运算和归约。TK 帮忙处理数据如何分布到线程、寄存器和共享内存,减少 bank conflict(共享内存访问冲突),并适配 Tensor Core。
也就是说,你主要表达“对这块矩阵做什么”,减少手动安排每个线程的数据位置。
② Thread block 层:让搬数据与计算同时进行。
TK 提供 Load–Compute–Store–Finish(LCSF) 模板:
- Load:从显存搬数据到共享内存。
- Compute:执行计算。
- Store:把结果写回显存。
- Finish:完成最后的状态处理。
关键是这些阶段可以重叠执行:计算当前 tile 时,提前加载下一个 tile,并写回之前的结果。
模板负责多阶段缓冲和同步机制,开发者填写各阶段的工作。论文的一项消融中,矩阵乘法的缓冲阶段从 1 增至 4,性能从 260 提升到 760 TFLOPS,说明减少等待非常关键。
③ Grid 层:复用工作线程块,并改善缓存利用。
这里做两件事:
- Persistent grid:让同一批线程块持续处理多个任务,减少反复建立、结束线程块造成的开销。
- 调整任务处理顺序:让相邻任务尽量复用 L2 cache 中的数据,减少读取显存。
因此,它既优化单个计算块,也优化整个 GPU 上任务的安排。
Result
| 算子 | 论文报告的结果 |
|---|---|
| 矩阵乘法 GEMM | 在测试尺寸上,与 cuBLAS 竞争;核心设备代码约 40 行 |
| Attention 前向 | 与 FlashAttention-3 相当 |
| Attention 反向 | 比 FlashAttention-3 快约 10%–40% |
| 多项式特征映射的 Linear Attention | 比所比较的 FLA 实现快最高 14× |
| 长卷积,部分 SSM 的核心操作 | 比 FlashFFTConv 快最高约 7.9× |
| Mamba-2 | 比所比较的 Triton 实现快 超过 3× |