데이터의 비합리적 효용성 재검토: 딥 러닝 시대에서의 접근

시각 분야에서 딥 러닝의 성공은 다음과 같은 요인들에 기인할 수 있다: (a) 고용량 모델; (b) 증가한 계산 능력; 그리고 (c) 대규모 라벨링된 데이터의 활용 가능성. 2012년 이후, 모델의 표현 능력과 GPU의 계산 능력에 있어 상당한 발전이 이루어졌지만, 가장 큰 데이터셋의 크기는 의외로 일정하게 유지되어 왔다. 만약 데이터셋의 크기를 10배나 100배로 확대한다면 어떤 일이 발생할까? 이 논문은 '거대한 데이터'와 시각 딥 러닝 간의 관계를 둘러싼 미스터리의 구름을 걷어내는 한 걸음을 내딛는 것을 목표로 한다. 3억 개 이상의 이미지에 대해 3천7백5십만 개 이상의 노이즈가 포함된 라벨을 가진 JFT-300M 데이터셋을 활용하여, 이 데이터가 표현 학습에 사용될 경우 현재 시각 작업들의 성능이 어떻게 변화할지 조사하였다. 본 논문은 예상치 못한 결과(그리고 일부 예상 가능한 결과)를 제시한다. 첫째, 우리는 훈련 데이터 크기에 따른 성능 향상이 로그 함수적으로 증가한다는 사실을 발견하였다. 둘째, 표현 학습(또는 사전 학습)이 여전히 많은 잠재력을 가지고 있음을 보였다. 단순히 더 나은 기본 모델을 훈련시키는 것만으로도 많은 시각 작업들의 성능을 향상시킬 수 있다. 마지막으로, 예상대로 우리는 이미지 분류, 객체 검출, 의미 세분화 및 인간 자세 추정 등 다양한 시각 작업에 대한 새로운 최신 연구 결과를 제시하였다. 우리의 진심 어린 바람은 이 연구가 시각 커뮤니티에게 데이터의 가치를 과소평가하지 않도록 하고, 더 큰 데이터셋 구축을 위한 공동 노력에 동참하도록 영감을 주는 것이다.