Stochastisches Subsampling mit Average Pooling

Die Regularisierung tiefer neuronaler Netze ist ein wichtiges Thema, um eine höhere Generalisierungsleistung ohne Überanpassungsprobleme zu erreichen. Obwohl die gängige Methode des Dropouts eine Regularisierungswirkung bietet, verursacht sie inkonsistente Eigenschaften in der Ausgabe, die die Leistung tiefer neuronaler Netze möglicherweise verschlechtern können. In dieser Studie schlagen wir ein neues Modul vor, das als stochastisches Durchschnittspooling bezeichnet wird und Dropout-ähnliche Stochastizität im Pooling integriert. Wir beschreiben die Eigenschaften des stochastischen Subsampling und des Durchschnittspoolings und nutzen diese, um ein Modul ohne jegliche Inkonsistenzen zu entwerfen. Das stochastische Durchschnittspooling erreicht eine Regularisierungswirkung ohne potenzielle Leistungsverluste aufgrund von Inkonsistenzen und kann leicht in bestehende Architekturen tiefer neuronaler Netze integriert werden. Experimente zeigen, dass das Ersetzen des bestehenden Durchschnittspoolings durch stochastisches Durchschnittspooling bei einer Vielzahl von Aufgaben, Datensätzen und Modellen konsistente Verbesserungen bringt.