Zero-Bubble Pipeline Parallelism

流水線並行會把模型切成多個階段，在不同裝置上順序處理 micro-batches。問題是裝置之間容易出現等待，也就是"bubble"。

Zero-Bubble 的思路是改進排程和反向傳播安排，讓裝置更少空轉，提高大模型訓練吞吐。

訓練效率是基礎模型競爭的隱藏戰場。少一點空轉，就意味著同樣算力可以訓練更多 token、更大模型或更快迭代。

這種系統論文和開源實現對大模型實驗室很有實際價值。

Sea AI Lab 做這類訓練系統研究，說明新加坡本土企業實驗室正在進入更底層的模型基礎設施層，而不僅是應用層。

它和 Colossal-AI 一起構成新加坡開源生態中"訓練系統"這一條線。