Neuronale Netze mit lokalen Fehlersignalen trainieren

Die überwachte Schulung von neuronalen Netzen für Klassifizierung wird in der Regel mit einer globalen Verlustfunktion durchgeführt. Die Verlustfunktion liefert einen Gradienten für die Ausgabeschicht, und dieser Gradient wird rückwärts zu den verborgenen Schichten propagiert, um eine Aktualisierungsrichtung für die Gewichte zu bestimmen. Eine alternative Herangehensweise besteht darin, das Netzwerk mit schichtbasierten Verlustfunktionen zu trainieren. In dieser Arbeit zeigen wir erstmals, dass schichtweises Training den aktuellen Stand der Technik auf verschiedenen Bild-Datensätzen annähern kann. Wir verwenden einlagige Teilnetze und zwei verschiedene überwachte Verlustfunktionen, um lokale Fehlersignale für die verborgenen Schichten zu generieren, und wir demonstrieren, dass die Kombination dieser Verluste die Optimierung im Kontext des lokalen Lernens unterstützt. Das Nutzen lokaler Fehler könnte ein Schritt hin zu biologisch plausiblerem Deep Learning sein, da der globale Fehler nicht zurück zu den verborgenen Schichten transportiert werden muss. Eine vollständig freie Variante ohne Rückpropagation übertreffen die bisherigen Ergebnisse unter den Methoden, die eine höhere biologische Plausibilität anstreben. Der Quellcode ist verfügbar unter: https://github.com/anokland/local-loss