최근 몇 년간 자연어 처리(NLP) 작업을 위한 신경망 모델은 점점 더 복잡해지면서 학습과 배포가 더욱 어려워지고 있다. 최근 여러 논문들이 이러한 복잡한 아키텍처의 필요성을 의심하며, 적절히 설계된 단순한 모델이 매우 효과적임을 발견했다. 우리는 문서 분류 분야에서도 이와 유사한 결과를 확인했다. 최근의 여러 신경망 모델에 대한 대규모 재현성 연구를 수행한 결과, 적절한 정규화 기법을 적용한 단순한 BiLSTM 아키텍처가 네 가지 표준 벤치마크 데이터셋에서 기존 최고 성능(SOTA)과 비교해 경쟁력 있는 또는 그 이상의 정확도와 F1 점수를 달성함을 확인했다. 놀랍게도, 우리의 단순한 모델은 주목기법(attention mechanism) 없이도 이러한 성과를 달성할 수 있었다. 이 정규화 기법들은 언어 모델링에서 기존에 사용된 것들로, 새로운 것은 아니지만, 저희 연구가 이 기법들을 해당 맥락에 처음으로 적용한 것으로 보인다. 본 연구는 문서 분류 분야에서의 향후 연구를 위한 오픈소스 플랫폼과 기반을 제공한다.