Colossal-AI

Colossal-AI 是一個分散式 AI 訓練系統。開發者可以用它做張量並行、流水線並行、ZeRO、異構記憶體管理和大模型推理最佳化，把單機難以承受的模型訓練拆到多卡、多節點環境裡。

它最早由 NUS HPC-AI Lab 孵化，後來形成面向全球開發者的開源專案和工程化組織。

大模型競爭不只發生在模型權重上，也發生在訓練系統上。Colossal-AI 的價值是把"能不能訓練得起"這個問題工程化：降低視訊記憶體壓力、提高吞吐、讓研究團隊和中小公司更接近大模型訓練能力。

這類基礎設施專案不會直接面對終端使用者，但會影響模型研發成本曲線。

Colossal-AI 顯示新加坡高校不是隻能做應用研究，也可以在全球 AI 基礎設施層有存在感。它和 SEA-LION 這類模型專案互補：一個解決訓練系統，一個解決區域模型供給。

對 sgai.md 來說，它是"新加坡是否能輸出通用 AI 工程基礎設施"的長期樣本。