초록
순환 신경망(RNN) 구조에 대한 지속적인 혁신은 언어 모델링 벤치마크에서 최신 기술 수준의 결과를 꾸준히 제공해 왔습니다. 그러나 이러한 결과는 서로 다른 코드 기반과 제한된 계산 자원을 사용하여 평가되었으며, 이는 실험 변동의 통제되지 않은 출처를 나타냅니다. 본 연구에서는 대규모 자동 블랙박스 하이퍼파라미터 튜닝을 통해 여러 인기 있는 구조와 정규화 방법을 재평가하고, 적절하게 정규화된 표준 LSTM 구조가 최근의 모델보다 우수하다는 다소 놀라운 결론에 도달하였습니다. 우리는 Penn Treebank 및 Wikitext-2 코퍼스에서 새로운 최신 기술 수준을 설정하였으며, Hutter Prize 데이터셋에서도 강력한 베이스라인을 확립하였습니다.