초록
최근 기계학습 분야는 자성의 순간을 가졌다. 2018년 ICLR에서 널리 논의된 논문에서 스컬리(Sculley) 등은 다음과 같이 지적했다. “실증적 진보 속도가 전반적인 실증적 엄격성의 일관된 증가와는 일치하지 않는다는 점을 관찰한다.” 그들의 주된 비판은 “승리에 초점을 맞춘 연구 및 게재 문화”의 발전에 있다(원문 강조). 이는 일반적으로 “특정 작업이나 벤치마크에서 새로운 방법이 이전 방법을 능가함을 보이는 것”을 의미한다. 이를 적절히 표현하면 ‘리더보드 추구’라 할 수 있으며, 많은 비전 및 자연어처리(NLP) 작업에서는 이 표현이 은유가 아니다. 실제로 수년에 걸쳐 지속되는, 소수점 다섯 번째 자리까지 정밀하게 기록하는 중앙 리더보드가 존재하며, 수십 개의 기여가 누적되어 있다.스컬리 등은 “과학의 목표는 승리가 아니라 지식의 축적이다”는 점을 상기시킨다. 오늘날 과학 공동체의 구조(출판 압박, 진보 속도 등)는 “승리”와 “좋은 과학을 하는 것”이 종종 완전히 일치하지 않게 만든다. 그들은 최근 신경망 분야의 진보가 실제로는 보다 나은 하이퍼파라미터 최적화와 같은 평범한 문제에 기인했을 가능성이 매우 크다는 여러 논문을 인용한다. 많은 연구 결과는 재현이 불가능하며, 일부 관측된 성능 향상은 단지 잡음일 뿐일 수 있다.