バッチ正規化を用いた残差ネットワークにおけるドロップアウトの正しい使い方

深層ニューラルネットワークの安定した最適化において、ドロップアウトやバッチ正規化などの正則化手法がさまざまなタスクで用いられている。しかし、ドロップアウトを適用すべき適切な位置についてはほとんど議論されておらず、実務家によって異なる位置に適用されることが一般的である。本研究では、ドロップアウトを適用すべき適切な位置について検討する。バッチ正規化を備えたリスキュー（残差）ネットワークにおいて、特定の位置にドロップアウトを適用すると性能が向上する一方で、他の位置に適用すると性能が低下することを示す。理論的分析に基づき、以下のガイドラインを提示する：リスキュー枝において、最後のバッチ正規化の直後、かつ最後の重み層の直前（すなわち、最後のバッチ正規化と最後の線形層の間に）に1つのドロップアウトを適用すること。本主張を裏付けるため、詳細な理論的説明を提供し、モジュール単位の実験によりその有効性を検証する。さらに、最終予測を生成するヘッド部におけるドロップアウトの適切な位置についても検討した。現在の一般的な見解では、ドロップアウトはグローバル平均プーリングの後に適用することが多いが、本研究では、グローバル平均プーリングの前にドロップアウトを適用することがより安定した出力をもたらすことを証明する。提案されたガイドラインは、異なるデータセットおよびモデルを用いた実験により検証され、その有効性が確認された。