Colossal-AI

Colossal-AI 是一个分布式 AI 训练系统。开发者可以用它做张量并行、流水线并行、ZeRO、异构内存管理和大模型推理优化，把单机难以承受的模型训练拆到多卡、多节点环境里。

它最早由 NUS HPC-AI Lab 孵化，后来形成面向全球开发者的开源项目和工程化组织。

大模型竞争不只发生在模型权重上，也发生在训练系统上。Colossal-AI 的价值是把"能不能训练得起"这个问题工程化：降低显存压力、提高吞吐、让研究团队和中小公司更接近大模型训练能力。

这类基础设施项目不会直接面对终端用户，但会影响模型研发成本曲线。

Colossal-AI 显示新加坡高校不是只能做应用研究，也可以在全球 AI 基础设施层有存在感。它和 SEA-LION 这类模型项目互补：一个解决训练系统，一个解决区域模型供给。

对 sgai.md 来说，它是"新加坡是否能输出通用 AI 工程基础设施"的长期样本。