Zero-Bubble Pipeline Parallelism

流水线并行会把模型切成多个阶段，在不同设备上顺序处理 micro-batches。问题是设备之间容易出现等待，也就是"bubble"。

Zero-Bubble 的思路是改进调度和反向传播安排，让设备更少空转，提高大模型训练吞吐。

训练效率是基础模型竞争的隐藏战场。少一点空转，就意味着同样算力可以训练更多 token、更大模型或更快迭代。

这种系统论文和开源实现对大模型实验室很有实际价值。

Sea AI Lab 做这类训练系统研究，说明新加坡本土企业实验室正在进入更底层的模型基础设施层，而不仅是应用层。

它和 Colossal-AI 一起构成新加坡开源生态中"训练系统"这一条线。