要約
最近、機械学習コミュニティは一時的に自己反省の時を過ごした。2018年のICLRで広く議論されたスキューリーらの論文において、「実証的な進展の速度が、分野全体における実証的厳密性の持続的な向上と一致しているとは見えない」と指摘している。彼らの主な懸念は、「勝利を重視する研究・出版文化」（原文の強調）の発展である。これは、通常、「あるタスクまたはベンチマークにおいて、新しい手法が従来手法を上回ることを示す」ことを意味する。この状況を的確に表す表現として「リーダーボード追跡（leaderboard chasing）」が挙げられるが、多くの視覚認識や自然言語処理のタスクにおいて、これは比喩ではなく現実である。実際に、進展を五桁目まで正確に追跡する中央集権的なリーダーボードが存在し、数年間にわたり継続的に更新され、数十ものエントリーが蓄積されている。スキューリーらは、「科学の目的は勝利ではなく、知識の獲得である」と Reminder している。現代の科学の構造（論文発表の圧力、進展のスピードなど）により、「勝つこと」と「良い科学をすること」はしばしば完全に一致しない。その例として、彼らは、近年のニューラルネットワークの進展が、むしろ単なるハイパーパラメータの最適化の改善といった、地味な問題に起因している可能性が高いことを示す複数の研究を挙げている。多くの研究結果は再現できず、一部で観測された改善は単なるノイズにすぎない可能性もある。