HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung von tiefen neuronalen Netzen durch probabilistische Maxout-Einheiten

Jost Tobias Springenberg Martin Riedmiller

Zusammenfassung

Wir stellen eine wahrscheinlichkeitstheoretische Variante der kürzlich eingeführten Maxout-Einheit vor. Der Erfolg tiefer neuronaler Netze, die Maxout nutzen, kann teilweise darauf zurückgeführt werden, dass sie unter Dropout im Vergleich zu ReLU-Einheiten (Rectified Linear Units) bessere Leistungen erzielen. Er hängt jedoch auch damit zusammen, dass jede Maxout-Einheit eine Pooling-Operation über eine Gruppe von linearen Transformationen durchführt und daher teilweise invariant gegenüber Veränderungen ihrer Eingabe ist. Ausgehend von dieser Beobachtung stellen wir die Frage: Können die wünschenswerten Eigenschaften von Maxout-Einheiten bewahrt bleiben, während ihre Invarianzeigenschaften verbessert werden? Wir argumentieren, dass unsere wahrscheinlichkeitstheoretischen Maxout-Einheiten (Probout) dieses Gleichgewicht erfolgreich erreichen. Wir verifizieren diesen Anspruch quantitativ und melden Klassifikationsleistungen, die den aktuellen Stand der Technik auf drei anspruchsvollen Bildklassifikationsbenchmarks (CIFAR-10, CIFAR-100 und SVHN) entsprechen oder übertreffen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserung von tiefen neuronalen Netzen durch probabilistische Maxout-Einheiten | Paper | HyperAI