要約
近年、自然言語処理（NLP）の多くのタスクにおいて、ニューラルネットワークモデルはますます複雑化しており、トレーニングやデプロイメントの難易度が高まっている。近年の複数の研究では、このような複雑なアーキテクチャの必要性が疑問視され、適切に設計されたシンプルなモデルが非常に有効であることが示されている。本研究では、ドキュメント分類においても同様の傾向が見られることを示す。最近のニューラルモデルを対象とした大規模な再現性研究において、適切な正則化を施した単純なBiLSTMアーキテクチャが、4つの標準ベンチマークデータセットにおいて、既存の最先端技術と同等、あるいはそれを上回る精度とF1スコアを達成することを確認した。驚くべきことに、このシンプルなモデルはアテンション機構を用いずに、これらの成果を達成している。本研究で用いた正則化手法は、言語モデリングから借用されたものであり、新しいものではないが、知られている限りでは、本研究が初めてこの文脈に適用した。本研究は、ドキュメント分類分野における今後の研究を支えるオープンソースのプラットフォームを提供するものである。