Ein Surrogatgradienten-Spiking-Baseline-Modell für die Sprachbefehls-Erkennung

Künstliche neuronale Netze (ANNs) bilden die Grundlage der jüngsten Fortschritte im Bereich künstlicher Intelligenz (KI); sie verwenden typischerweise reellwertige Neuronenreaktionen. Im Gegensatz dazu arbeiten biologische Neuronen bekanntermaßen mit Spiketrain-Daten. In der Theorie könnten spiking neuronale Netze (SNNs) eine höhere Repräsentationskraft als ANNs besitzen, insbesondere bei zeitlichen Datenreihen wie Sprache; ihre Einführung wurde jedoch sowohl durch das Fehlen stabiler Lernalgorithmen als auch durch den Mangel an kompatiblen Benchmarks beeinträchtigt. Wir beginnen mit einer umfassenden Literaturübersicht zum Zusammenspiel von ANNs und SNNs. Fokussiert auf die Methode der sogenannten „surrogate gradients“, leiten wir eine einfache, aber relevante Evaluierung basierend auf aktuellen Sprachbefehlsaufgaben ein. Nach der Bewertung einer repräsentativen Auswahl von Architekturen zeigen wir, dass eine Kombination aus Anpassung, Rekurrenz und surrogate gradients leichte spiking-Architekturen ermöglicht, die nicht nur mit ANN-Lösungen konkurrieren können, sondern zudem eine hohe Kompatibilität mit bestehenden modernen Deep-Learning-Frameworks bewahren. Wir schließen konkreterweise, dass SNNs für zukünftige Forschungsarbeiten im Bereich der KI, insbesondere für Anwendungen im Bereich der Sprachverarbeitung, geeignet sind, und spekulativ, dass sie möglicherweise auch zur Inferenz über biologische Funktionen beitragen können.