HybridFlow_A Flexible and Efficient RLHF Framework

怎样让大模型的强化学习训练更容易编写、更高效地运行。

1. 为什么 RLHF 很难高效运行?

以 PPO 为例,一轮训练需要多个模型配合:

  • Actor:根据 prompt 生成回答,也是要训练的模型。
  • Reward model:给回答打分。
  • Reference model:约束 Actor,避免它偏离原模型太远。
  • Critic:估计价值,帮助计算训练信号。

整个过程可以理解为:生成回答 → 计算奖励和训练信号 → 更新模型 → 再生成。

麻烦在于,这些模型都可能分布在多张 GPU 上,而且生成、打分、训练适合的并行方式还不一样。因此,系统需要反复协调计算、传数据、调整模型权重的分布。

2. 核心思路:分两层管理

HybridFlow 把控制拆成两层:

层次管什么这样做的好处
外层:single controller整体流程,例如先生成、再打分、最后训练算法逻辑集中,容易修改
内层:multi-controller每个模型内部的多 GPU 计算各 GPU 协同执行,减少细粒度指令分发开销

可以理解为:一个总负责人安排各团队的任务,每个团队内部自己协调工作。

这里的“节点”指工作流中的模型计算步骤,不一定是一台物理机器。用户主要写高层算法逻辑,框架处理底层分布式执行和数据重分片。

3. 另一个关键优化:让 Actor 快速切换生成和训练

Actor 既要生成回答,又要更新参数,但这两种阶段适合的并行配置不同。切换时,如果直接重新组织模型权重,可能产生大量通信和额外显存占用。

论文设计了 3D-HybridEngine,通过安排权重分片和 GPU 分组,复用已有权重,减少切换时的通信,并避免为切换额外保留冗余权重。它还会搜索各模型的 GPU 分配与放置方式,降低整体迭代时间。

4. 效果和贡献怎么看?

论文报告,在所测试的算法、模型和集群配置下,相比基线系统,吞吐量提升 1.53–20.57 倍;具体提升取决于配置。

这篇最值得记住的是:RLHF 是多个分布式模型组成的工作流。HybridFlow 用外层集中编排、内层分布式执行,再优化生成与训练之间的切换,让这个工作流既容易改,也跑得快。