OAT

OAT는 Online Alignment Training의 약자입니다. LLM 포스트트레이닝에서 일반적인 강화 학습, 선호도 최적화, 온라인 샘플링 및 평가 프로세스를 연구 친화적인 프레임워크로 캡슐화합니다.

일반 사용자를 대상으로 한 제품이 아니라 모델 연구 및 훈련 팀이 사용할 수 있는 도구입니다.

모델 능력은 점점 더 포스트트레이닝에 의존하고 있습니다. 사전 학습은 기초 지식을 결정하고, SFT, RLHF, DPO, 온라인 강화 학습 등의 프로세스는 모델이 지시를 따르는지, 안정적인지, 유용한지를 결정합니다.

OAT의 의미는 이러한 복잡한 정렬 실험을 재사용 가능한 엔지니어링 프레임워크로 만드는 것입니다.

OAT는 Sea AI Lab이 지역 언어 모델뿐만 아니라 모델 훈련 기반 도구도 개발하고 있음을 보여줍니다. 이는 싱가포르 본토 기술 회사가 기초 모델 경쟁에 참여하는 데 매우 중요합니다.

향후 Sailor 또는 다른 SAIL 모델 훈련 파이프라인에 채택되었는지 추적할 수 있습니다.