HyperAIHyperAI

Command Palette

Search for a command to run...

Tiefe Komplexe Netze

Chiheb Trabelsi,∗♦♦ Olexa Bilaniuk,∗♦ Ying Zhang,†♦♦ Dmitriy Serdyuk,†♦ Sandeep Subramanian,†♦ João Felipe Santos,♦ Soroush Mehri,♥ Negar Rostamzadeh,♦ Yoshua Bengio♦¶ Christopher J Pal♦¶

Zusammenfassung

Derzeit basieren die meisten Bausteine, Techniken und Architekturen für tiefes Lernen auf reellen Operationen und Darstellungen. Allerdings deuten jüngste Arbeiten zu rekurrenten neuronalen Netzen sowie ältere grundlegende theoretische Analysen darauf hin, dass komplexe Zahlen eine reichere Darstellungskapazität haben könnten und zudem die robuste Abrufmechanismen von Gedächtnisinhalten erleichtern könnten. Trotz ihrer ansprechenden Eigenschaften und des Potenzials, völlig neue neuronale Architekturen zu ermöglichen, wurden komplexe tiefneuronale Netze aufgrund der fehlenden Bausteine zur Gestaltung solcher Modelle vernachlässigt. In dieser Arbeit stellen wir die wesentlichen atomaren Komponenten für komplexe tiefneuronale Netze bereit und wenden sie auf Faltungs-Feedforward-Netze und Faltungs-LSTMs an. Genauer gesagt stützen wir uns auf komplexe Faltungen und präsentieren Algorithmen für komplexe Batch-Normalisierung, komplexe Gewichtsinitialisierungsstrategien für komplexwertige Neuronennetze und verwenden diese in Experimenten mit End-to-End-Trainingsverfahren. Wir zeigen, dass solche komplexwertigen Modelle mit ihren reellwertigen Gegenstücken konkurrieren können. Wir testen tiefe komplexe Modelle an mehreren Computer-Vision-Aufgaben, bei der Notentranskription unter Verwendung des MusicNet-Datensatzes und bei der Sprachspektrum-Vorhersage unter Verwendung des TIMIT-Datensatzes. Auf diesen audio-bezogenen Aufgaben erreichen wir den Stand der Technik (state-of-the-art performance).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp