Tiefe Komplexe Netze

Derzeit basieren die meisten Bausteine, Techniken und Architekturen für tiefes Lernen auf reellen Operationen und Darstellungen. Allerdings deuten jüngste Arbeiten zu rekurrenten neuronalen Netzen sowie ältere grundlegende theoretische Analysen darauf hin, dass komplexe Zahlen eine reichere Darstellungskapazität haben könnten und zudem die robuste Abrufmechanismen von Gedächtnisinhalten erleichtern könnten. Trotz ihrer ansprechenden Eigenschaften und des Potenzials, völlig neue neuronale Architekturen zu ermöglichen, wurden komplexe tiefneuronale Netze aufgrund der fehlenden Bausteine zur Gestaltung solcher Modelle vernachlässigt. In dieser Arbeit stellen wir die wesentlichen atomaren Komponenten für komplexe tiefneuronale Netze bereit und wenden sie auf Faltungs-Feedforward-Netze und Faltungs-LSTMs an. Genauer gesagt stützen wir uns auf komplexe Faltungen und präsentieren Algorithmen für komplexe Batch-Normalisierung, komplexe Gewichtsinitialisierungsstrategien für komplexwertige Neuronennetze und verwenden diese in Experimenten mit End-to-End-Trainingsverfahren. Wir zeigen, dass solche komplexwertigen Modelle mit ihren reellwertigen Gegenstücken konkurrieren können. Wir testen tiefe komplexe Modelle an mehreren Computer-Vision-Aufgaben, bei der Notentranskription unter Verwendung des MusicNet-Datensatzes und bei der Sprachspektrum-Vorhersage unter Verwendung des TIMIT-Datensatzes. Auf diesen audio-bezogenen Aufgaben erreichen wir den Stand der Technik (state-of-the-art performance).