Pythia v0.1: 2018 VQA 챌린지 우승작

이 문서는 2018년 VQA 챌린지에서 우승한 Facebook AI Research (FAIR)의 A-STAR 팀이 제출한 Pythia v0.1에 대해 설명합니다.우리는 하단-상단(Up-Down) 모델을 모듈화하여 재구현한 것을 출발점으로 삼았습니다. 모델 아키텍처와 학습률 스케줄에 미묘하지만 중요한 변경을 가하고 이미지 특성을 fine-tuning하며 데이터 증강을 추가함으로써, VQA v2.0 데이터셋에서 Up-Down 모델의 성능을 크게 개선할 수 있음을 보여줍니다. 이로 인해 정확도가 65.67%에서 70.22%로 상승했습니다.또한, 다양한 특성과 다른 데이터셋으로 훈련된 여러 모델의 앙상블을 사용함으로써, '표준' 앙상블 방식(즉, 서로 다른 랜덤 시드를 사용하는 동일한 모델)보다 1.31% 더 높은 성능 향상을 이룰 수 있었습니다. 전체적으로 VQA v2.0 데이터셋의 test-std 분할에서 72.27%의 성능을 달성했습니다. 우리의 코드(훈련, 평가, 데이터 증강, 앙상블 포함)와 사전 훈련된 모델들은 다음 주소에서 공개적으로 이용 가능합니다: https://github.com/facebookresearch/pythia