Zero-Bubble Pipeline Parallelism

파이프라인 병렬 처리는 모델을 여러 단계로 분할하고 다양한 장치에서 micro-batch를 순차적으로 처리합니다. 문제는 장치 간에 대기가 쉽게 발생한다는 것, 즉 「bubble」입니다.

Zero-Bubble의 아이디어는 스케줄링 및 역전파 배열을 개선하여 장치가 덜 유휴 상태가 되도록 하고 대규모 모델 훈련 처리량을 증가시키는 것입니다.

훈련 효율은 기초 모델 경쟁의 숨겨진 전장입니다. 유휴 시간을 조금만 줄여도 같은 컴퓨팅 능력으로 더 많은 토큰, 더 큰 모델, 또는 더 빠른 반복을 훈련할 수 있다는 뜻입니다.

이러한 시스템 논문과 오픈 소스 구현은 대규모 모델 실험실에 매우 실제적인 가치가 있습니다.

Sea AI Lab이 이러한 유형의 훈련 시스템 연구를 수행하는 것은 싱가포르 본토 기업 실험실이 응용 계층뿐만 아니라 더 낮은 수준의 모델 기반 구조 계층에 진입하고 있음을 나타냅니다.

Colossal-AI과 함께 싱가포르 오픈 소스 생태계에서 「훈련 시스템」이라는 라인을 구성합니다.