초록
일반화는 통계적 언어 모델링 연구에서 아마도 가장 중요한 목표라고 할 수 있다. 공개된 벤치마크와 오픈소스 코드를 함께 제출한 논문들은 이 분야의 발전에 핵심적인 역할을 해왔다. 그러나 연구 결과를 출판된 내용 그대로 완전히 재현하는 것은 종종 매우 어렵고, 때로는 불가능할 정도로 어렵다. 본 논문에서는 언어 모델링의 일반화 성능 측면에서 최신 기술을 더욱 촉진할 수 있는 간단한 프레임워크를 제안한다. 우리는 단지 코드만 공개하는 것이 아니라, 향후 논문에서는 개발용( dev ) 및 테스트(set) 집합에 대한 확률 값을 함께 제공함으로써, 새로운 모델을 앙상블에 쉽게 통합할 수 있도록 하자 제안한다. 이 접근법은 핵심적인 이점을 지닌다. 새로운 제안된 모델이 현재 기준 모델과 실제로 보완적인지 여부를 훨씬 쉽게 판단할 수 있기 때문이다. 따라서 오래된 기법에 새로운 이름을 붙이기보다는, 과학 공동체가 더 빠르게 발전할 수 있다. 마지막으로, 이 방식은 아이디어의 다양성을 촉진한다. 새로운 최고 성능 모델을 독자적으로 개발하지 않아도 주목받을 수 있다. 다른 모델들이 학습하지 못한 패턴을 학습하는 새로운 모델을 개발하는 것만으로도 충분하다. 따라서 최적의 성능을 내지 못하는 모델조차도 가치를 지닐 수 있다. 놀랍게도, 본 연구의 접근법은 다양한 언어 모델링 벤치마크에서 최신 기술 수준을 평균 10% 이상 향상시키는 새로운 최고 성능 결과를 도출해냈다.