Command Palette
Search for a command to run...
Verbesserung von tiefen neuronalen Netzen durch probabilistische Maxout-Einheiten
Verbesserung von tiefen neuronalen Netzen durch probabilistische Maxout-Einheiten
Jost Tobias Springenberg Martin Riedmiller
Zusammenfassung
Wir stellen eine wahrscheinlichkeitstheoretische Variante der kürzlich eingeführten Maxout-Einheit vor. Der Erfolg tiefer neuronaler Netze, die Maxout nutzen, kann teilweise darauf zurückgeführt werden, dass sie unter Dropout im Vergleich zu ReLU-Einheiten (Rectified Linear Units) bessere Leistungen erzielen. Er hängt jedoch auch damit zusammen, dass jede Maxout-Einheit eine Pooling-Operation über eine Gruppe von linearen Transformationen durchführt und daher teilweise invariant gegenüber Veränderungen ihrer Eingabe ist. Ausgehend von dieser Beobachtung stellen wir die Frage: Können die wünschenswerten Eigenschaften von Maxout-Einheiten bewahrt bleiben, während ihre Invarianzeigenschaften verbessert werden? Wir argumentieren, dass unsere wahrscheinlichkeitstheoretischen Maxout-Einheiten (Probout) dieses Gleichgewicht erfolgreich erreichen. Wir verifizieren diesen Anspruch quantitativ und melden Klassifikationsleistungen, die den aktuellen Stand der Technik auf drei anspruchsvollen Bildklassifikationsbenchmarks (CIFAR-10, CIFAR-100 und SVHN) entsprechen oder übertreffen.