16일 전
OpenFlamingo: 대규모 자동회귀형 시각-언어 모델 학습을 위한 오픈소스 프레임워크
Anas Awadalla, Irena Gao, Josh Gardner, Jack Hessel, Yusuf Hanafy, Wanrong Zhu, Kalyani Marathe, Yonatan Bitton, Samir Gadre, Shiori Sagawa, Jenia Jitsev, Simon Kornblith, Pang Wei Koh, Gabriel Ilharco, Mitchell Wortsman, Ludwig Schmidt
초록
오픈플레임ingo(OpenFlamingo)는 3B에서 9B 파라미터 규모까지 포함하는 자동회귀형 시각-언어 모델 패밀리입니다. 오픈플레임ingo는 딥마인드(DeepMind)의 플레임ingo(Flamingo) 모델을 오픈소스로 재현하는 지속적인 노력의 산물입니다. 일곱 개의 시각-언어 데이터셋에서 오픈플레임ingo 모델은 해당 플레임ingo 모델 성능의 평균 80~89% 수준을 달성하였습니다. 본 기술 보고서에서는 모델 구조, 훈련 데이터, 하이퍼파라미터 및 평가 테스트 세트에 대해 설명합니다. 모델과 코드는 https://github.com/mlfoundations/open_flamingo 에서 공개합니다.