HyperAIHyperAI

Command Palette

Search for a command to run...

Complex Transformer: Ein Rahmenwerk zur Modellierung komplexwertiger Sequenzen

Muqiao Yang Martin Q. Ma Dongyu Li Yao-Hung Hubert Tsai Ruslan Salakhutdinov

Zusammenfassung

Während das tiefe Lernen in den letzten Jahren in einer Vielzahl von Bereichen erhebliches Interesse geweckt hat, werden komplexe Zahlen in den meisten großen Deep-Learning-Modellen kaum genutzt. Doch Sprach-, Signal- und Audiodaten sind nach der Fourier-Transformation naturgemäß komplexwertig, und Untersuchungen deuten darauf hin, dass komplexe Netze ein potenziell reichhaltigeres Repräsentationsvermögen besitzen. In diesem Artikel stellen wir einen Complex Transformer vor, der das Transformer-Modell als Grundbaustein für die Sequenzmodellierung nutzt; zudem entwickeln wir Aufmerksamkeitsmechanismen sowie Encoder-Decoder-Netzwerke, die für komplexe Eingaben geeignet sind. Das vorgeschlagene Modell erreicht eine state-of-the-art-Leistung auf dem MusicNet-Datensatz sowie auf einem Datensatz komplexer In-Phase-Quadratur-(IQ)-Signale.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp