Spektrale Darstellungen für Faltungsneuronale Netze

Diskrete Fourier-Transformationen bieten eine erhebliche Beschleunigung bei der Berechnung von Faltungen im tiefen Lernen. In dieser Arbeit zeigen wir, dass neben den Vorteilen für die effiziente Berechnung das spektrale Gebiet auch eine leistungsfähige Darstellung bietet, in der man Faltungsneuronale Netze (CNNs) modellieren und trainieren kann.Wir nutzen spektrale Darstellungen, um mehrere Innovationen im Design von CNNs einzuführen. Erstens schlagen wir spektrales Pooling vor, das durch Abschneiden der Darstellung im Frequenzbereich die Dimensionsreduktion durchführt. Dieser Ansatz bewahrt pro Parameter deutlich mehr Informationen als andere Pooling-Strategien und ermöglicht Flexibilität bei der Wahl der Ausgabedimensionalität des Poolings. Diese Darstellung ermöglicht zudem eine neue Form der stochastischen Regularisierung durch randomisierte Modifikation der Auflösung. Wir zeigen, dass diese Methoden wettbewerbsfähige Ergebnisse bei Klassifizierungs- und Approximationsaufgaben erzielen, ohne irgendeine Dropout- oder Max-Pooling-Methode zu verwenden.Schließlich demonstrieren wir die Effektivität einer komplexwertigen spektralen Parametrisierung von Faltungsfiltern. Obwohl dies das zugrunde liegende Modell nicht ändert, führt es zu einer Darstellung, die die Optimierung erheblich erleichtert. Anhand verschiedener gängiger CNN-Konfigurationen beobachten wir, dass dies während des Trainings zu einem deutlich schnelleren Konvergenzverhalten führt.