ドロップアウト

ドロップアウトは、2012 年にジェフリー ヒントンと彼のチームによって提案された、ニューラル ネットワーク トレーニングで使用される正則化手法です。関連する論文結果は「特徴検出器の同時適応を防止することでニューラル ネットワークを改善する"、さらに、ヒントンらの 2012 年の論文"ディープ畳み込みニューラル ネットワークを使用した ImageNet 分類「ドロップアウト アルゴリズムはこの論文でも使用されました。この論文はディープ ラーニングの分野にも大きな影響を与えました。

Dropout の中心となるアイデアは、モデルの過剰適合を防ぐために、トレーニング プロセス中にネットワーク内の一部のニューロンとその接続をランダムにドロップ (つまり、一時的に削除) することです。このように、Dropout はネットワーク内の各ニューロンが他の特定のニューロンに依存しないようにすることで、モデルの汎化能力を強化します。

ドロップアウトの主な実装は、各トレーニング反復で各ニューロンが特定の確率 (通常はハイパーパラメーター) でゼロに設定され、複数の異なるネットワーク構造をランダムに作成できるようにすることです。テスト時にはすべてのニューロンがアクティブになりますが、その重みはトレーニング中に保持される確率に基づいて調整されます。この方法は、トレーニング中に複数の異なるネットワーク モデルを平均化し、テスト中にこの平均化されたモデルの近似バージョンを使用すると考えることができます。

このアルゴリズムは最初に提案されたときは主にフィードフォワード ニューラル ネットワークで使用されていましたが、その後の研究により適用範囲が拡大され、畳み込みニューラル ネットワーク (CNN) やリカレント ニューラル ネットワーク (RNN) にも適用できるようになりました。ドロップアウト テクノロジーは、視覚認識、音声認識、文書分類、計算生物学などのさまざまなタスクで効果的であることが証明されており、多くのベンチマーク データ セットで最先端の結果を達成しています。