THUNDERKITTENS_Simple, Fast, and Adorable Kernels

Abstract

将 AI 模型架构高效映射到 GPU 硬件,正成为 AI 发展的一个关键瓶颈。尽管研究者投入了大量精力,手工编写的定制计算内核仍无法达到理论性能上限,即使在线性注意力这类已有充分研究的运算上也是如此。GPU 所具备的多种硬件能力,似乎意味着我们需要大量不同的技术才能实现高性能。然而,本文探索了另一种可能:少量关键抽象能否大幅简化这一过程?
我们提出 ThunderKittens(TK),一个兼顾易用性与高性能的 AI 计算内核编程框架。其抽象分别对应 GPU 层次结构的三个层级:

  1. Warp 层级:提供以 16×16 矩阵块(tile) 为基础的数据结构,以及类似 PyTorch 的操作。
  2. 线程块(thread block)层级:提供支持不同操作异步重叠执行的程序模板。
  3. Grid 层级:帮助隐藏线程块启动、结束及内存访问带来的开销。

我们通过一系列简洁且覆盖多种运算的计算内核,展示了 TK 的价值:这些内核的性能达到或超过了已有最佳实现。在矩阵乘法(GEMM)和注意力推理上,TK 分别达到 cuBLAS 和 FlashAttention-3 的性能水平;在注意力反向传播上,比最强基线快 10%–40%;在状态空间模型和线性注意力上,分别实现最高约 8 倍和 14 倍的加速。

工具论文讨论的取舍
CUDA / CUTLASS控制能力强,但高性能实现复杂
Triton 等高层工具写起来简单,但论文指出某些硬件指令、异步调度和寄存器管理较难控制
ThunderKittens用少量抽象简化开发,同时保留 CUDA 的控制能力

Method

对应 GPU 的三个层级

① Warp 层:用 tile 表达计算,自动管理内存布局。

Warp 是协同执行的一组 GPU 线程。TK 以 16×16 矩阵块(tile) 为基本单元,并支持由它组成的更大块。

开发者可以对 tile 做类似 PyTorch 的操作:矩阵乘法、exp、逐元素运算和归约。TK 帮忙处理数据如何分布到线程、寄存器和共享内存,减少 bank conflict(共享内存访问冲突),并适配 Tensor Core。

也就是说,你主要表达“对这块矩阵做什么”,减少手动安排每个线程的数据位置。

② Thread block 层:让搬数据与计算同时进行。

TK 提供 Load–Compute–Store–Finish(LCSF) 模板:

  • Load:从显存搬数据到共享内存。
  • Compute:执行计算。
  • Store:把结果写回显存。
  • Finish:完成最后的状态处理。

关键是这些阶段可以重叠执行:计算当前 tile 时,提前加载下一个 tile,并写回之前的结果。

模板负责多阶段缓冲和同步机制,开发者填写各阶段的工作。论文的一项消融中,矩阵乘法的缓冲阶段从 1 增至 4,性能从 260 提升到 760 TFLOPS,说明减少等待非常关键。

③ Grid 层:复用工作线程块,并改善缓存利用。

这里做两件事:

  • Persistent grid:让同一批线程块持续处理多个任务,减少反复建立、结束线程块造成的开销。
  • 调整任务处理顺序:让相邻任务尽量复用 L2 cache 中的数据,减少读取显存。

因此,它既优化单个计算块,也优化整个 GPU 上任务的安排。

Result

算子论文报告的结果
矩阵乘法 GEMM在测试尺寸上,与 cuBLAS 竞争;核心设备代码约 40 行
Attention 前向与 FlashAttention-3 相当
Attention 反向比 FlashAttention-3 快约 10%–40%
多项式特征映射的 Linear Attention比所比较的 FLA 实现快最高 14×
长卷积,部分 SSM 的核心操作比 FlashFFTConv 快最高约 7.9×
Mamba-2比所比较的 Triton 实现快 超过 3×