Show-o

Show-o의 목표는 다중 모달리티 이해와 생성을 통합하는 것입니다. 시각 이해, 텍스트 조건 생성, 이미지 생성 등의 능력을 하나의 모델 프레임워크에 넣고, 「이해 모델」과 「생성 모델」 사이의 분열을 줄이려고 시도합니다.

Show Lab은 그 후 Show-o2를 추진하여 이 라인을 더욱 강력한 생성과 이해 능력으로 지속적으로 확장했습니다.

다중 모달리티 모델은 조립식 시스템에서 통합 아키텍처로 나아가고 있습니다. Show-o의 문제 의식은 매우 직접적입니다. 어떤 모델이 이미지를 이해할 수 있고 동시에 이미지를 생성할 수 있다면, 많은 상호작용적 설계, 편집, 시각 질의응답, 콘텐츠 생산 프로세스가 더욱 자연스러워질 것입니다.

이것도 오픈소스 다중 모달리티 연구에서의 핵심 방향입니다.

Show-o는 NUS Show Lab을 전 지구적 다중 모달리티 오픈소스 연구 지도에 위치시킵니다. 싱가포르에게 있어 이것은 「대학 실험실의 최첨단 모델 배출」의 사례이지, 정부 프로젝트나 기업 애플리케이션이 아닙니다.

향후 Show Lab의 모델 시리즈, 논문 채택 상황, Hugging Face 모델 사용량, 그리고 산업 도구 형성 여부를 지속적으로 추적할 수 있습니다.