Effiziente rekurrente Architekturen durch Aktivitätssparsamkeit und sparsame Rückwärtspropagation durch die Zeit

Rekurrente Neuronale Netze (RNNs) sind aufgrund ihrer Ausdrucksstärke und geringen Rechenanforderungen gut geeignet, sequenzielle Aufgaben in ressourcenbeschränkten Systemen zu lösen. Dennoch besteht weiterhin die Notwendigkeit, die Lücke zwischen den Effizienz- und Leistungsfähigkeiten von RNNs und den Anforderungen der realen Anwendungen zu schließen. Die Speicher- und Rechenanforderungen, die durch die Übertragung der Aktivierungen aller Neuronen bei jedem Zeitpunkt an jedes verbundene Neuron entstehen, sowie die sequentielle Abhängigkeit der Aktivierungen, tragen zur Ineffizienz des Trainings und der Nutzung von RNNs bei. Wir schlagen eine Lösung vor, die sich aus der Dynamik biologischer Neuronen ableitet und die Kommunikation zwischen RNN-Einheiten dünn besetzt (spars) und diskret macht. Dies führt dazu, dass auch der Rückwärtsdurchgang mit Backpropagation Through Time (BPTT) rechnerisch dünn besetzt (spars) und effizient ist. Unser Modell basiert auf dem Gated Recurrent Unit (GRU)-Modell und erweitert es um Einheiten, die diskrete Ereignisse zur Kommunikation emittieren, welche durch eine Schwellenschwelle ausgelöst werden. Im Fehlen solcher Ereignisse wird keine Information an andere Einheiten kommuniziert. Wir zeigen theoretisch, dass die Kommunikation zwischen den Einheiten – und damit auch die für den Vorwärts- und Rückwärtsdurchgang erforderliche Berechnung – mit der Anzahl der Ereignisse im Netzwerk skaliert. Unser Modell erreicht Effizienz ohne dabei die Aufgabenleistung zu beeinträchtigen und zeigt vergleichbare Leistungen wie aktuelle topmoderne rekurrente Netzwerkmodelle in realen Anwendungsaufgaben, darunter Sprachmodellierung. Der Mechanismus dynamischer Aktivitätssparität macht unser Modell zudem für innovative energieeffiziente Neuromorphe Hardware besonders geeignet. Der Quellcode ist unter https://github.com/KhaleelKhan/EvNN/ verfügbar.