HyperAIHyperAI

Command Palette

Search for a command to run...

Stochastisches Subsampling mit Average Pooling

Bum Jun Kim Sang Woo Kim

Zusammenfassung

Die Regularisierung tiefer neuronaler Netze ist ein wichtiges Thema, um eine höhere Generalisierungsleistung ohne Überanpassungsprobleme zu erreichen. Obwohl die gängige Methode des Dropouts eine Regularisierungswirkung bietet, verursacht sie inkonsistente Eigenschaften in der Ausgabe, die die Leistung tiefer neuronaler Netze möglicherweise verschlechtern können. In dieser Studie schlagen wir ein neues Modul vor, das als stochastisches Durchschnittspooling bezeichnet wird und Dropout-ähnliche Stochastizität im Pooling integriert. Wir beschreiben die Eigenschaften des stochastischen Subsampling und des Durchschnittspoolings und nutzen diese, um ein Modul ohne jegliche Inkonsistenzen zu entwerfen. Das stochastische Durchschnittspooling erreicht eine Regularisierungswirkung ohne potenzielle Leistungsverluste aufgrund von Inkonsistenzen und kann leicht in bestehende Architekturen tiefer neuronaler Netze integriert werden. Experimente zeigen, dass das Ersetzen des bestehenden Durchschnittspoolings durch stochastisches Durchschnittspooling bei einer Vielzahl von Aufgaben, Datensätzen und Modellen konsistente Verbesserungen bringt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp