HyperAIHyperAI

Command Palette

Search for a command to run...

Un modèle léger et indépendant de l'instrument pour la transcription de notes polyphoniques et l'estimation multipitch

Rachel M. Bittner Juan José Bosch David Rubinstein Gabriel Meseguer-Brocal Sebastian Ewert

Résumé

La transcription automatique de musique (AMT) est reconnue comme une technologie clé aux applications multiples. Étant donné la complexité de cette tâche, les meilleurs résultats ont généralement été obtenus par des systèmes spécifiques à certains contextes : par exemple, les systèmes dédiés à un instrument particulier obtiennent souvent de meilleurs résultats que les méthodes indépendantes de l'instrument. De même, une précision plus élevée peut être atteinte en se limitant à l'estimation des valeurs de fréquence fondamentale f0f_0f0 par tranche temporelle, tout en ignorant la tâche plus difficile de détection des événements notes. Malgré leur haute précision, ces systèmes spécialisés sont souvent inadaptés à un déploiement dans des environnements réels. Les contraintes de stockage et de bande passante empêchent l'utilisation de plusieurs modèles spécialisés, tandis que les limitations de mémoire et de temps d'exécution limitent leur complexité. Dans ce papier, nous proposons un réseau neuronal léger pour la transcription d'instruments musicaux, capable de produire des sorties polyphoniques et de généraliser à une large variété d'instruments (y compris les voix humaines). Notre modèle est entraîné pour prédire simultanément les débuts par tranche, les multipitches et les activations de notes, et nous montrons expérimentalement que cette architecture multi-sortie améliore la précision au niveau des tranches. Malgré sa simplicité, les résultats sur les benchmarks montrent que notre système surpasse significativement une base comparable en termes d'estimation des notes, et atteint une précision au niveau des tranches seulement légèrement inférieure à celle des systèmes d'AMT spécialisés de pointe. À travers ce travail, nous espérons encourager la communauté à poursuivre l'exploration des systèmes d'AMT à faible ressource et indépendants de l'instrument.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp