HyperAIHyperAI

Command Palette

Search for a command to run...

Complex Transformer : Un cadre pour la modélisation de séquences à valeurs complexes

Muqiao Yang Martin Q. Ma Dongyu Li Yao-Hung Hubert Tsai Ruslan Salakhutdinov

Résumé

Bien que l’apprentissage profond ait connu un regain d’intérêt dans divers domaines ces dernières années, les grands modèles d’apprentissage profond utilisent très peu les nombres complexes. Pourtant, les données audio, sonores et de signal sont naturellement à valeurs complexes après transformation de Fourier, et des études ont montré qu’un réseau complexe pouvait offrir une représentation potentiellement plus riche. Dans cet article, nous proposons un modèle Complex Transformer, qui intègre le modèle Transformer comme squelette pour la modélisation de séquences ; nous avons également conçu des mécanismes d’attention ainsi qu’un réseau encodeur-décodeur capables de traiter des entrées complexes. Ce modèle atteint des performances de pointe sur le jeu de données MusicNet ainsi que sur un jeu de données de signaux In-phase Quadrature (IQ).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp