要約
一般化は、統計的言語モデリング研究において arguably 最も重要な目標である。公開されたベンチマークや、オープンソースコードを併記した論文の発表は、この分野の進展に不可欠であった。しかし、しばしば研究発表に記載された結果を完全に再現することは極めて困難であり、場合によっては不可能である。本論文では、一般化の面で言語モデリングの現状をさらに進展させるための単純なフレームワークを提案する。今後発表される論文において、コードの公開に加えて、開発（dev）およびテスト（test）セットにおける確率値も同時に公開することを提案する。これにより、新しいモデルをアンサンブルに容易に組み込むことが可能になる。このアプローチには重要な利点がある。新しい提案モデルが既存のベースラインと実際に補完的な関係にあるかどうかを、はるかに簡単に判断できるようになる。したがって、古い手法に新たな名前を付けるのではなく、科学コミュニティはより迅速に前進できる。さらに、この方法はアイデアの多様性を促進する。新たなSOTA（最新最善）モデルを独自に構築しなくても注目を浴びる機会が得られる。他のモデルが学習していないパターンを学習できる新しいモデルを開発すれば十分である。その結果、最適ではないモデルであっても、価値が見出される可能性がある。著しく、本アプローチは、さまざまな言語モデリングベンチマークにおいて、これまでのSOTAを平均10％程度上回る新たな成果を達成した。