HyperAIHyperAI
il y a 17 jours

Un modèle léger et indépendant de l'instrument pour la transcription de notes polyphoniques et l'estimation multipitch

Rachel M. Bittner, Juan José Bosch, David Rubinstein, Gabriel Meseguer-Brocal, Sebastian Ewert
Un modèle léger et indépendant de l'instrument pour la transcription de notes polyphoniques et l'estimation multipitch
Résumé

La transcription automatique de musique (AMT) est reconnue comme une technologie clé aux applications multiples. Étant donné la complexité de cette tâche, les meilleurs résultats ont généralement été obtenus par des systèmes spécifiques à certains contextes : par exemple, les systèmes dédiés à un instrument particulier obtiennent souvent de meilleurs résultats que les méthodes indépendantes de l'instrument. De même, une précision plus élevée peut être atteinte en se limitant à l'estimation des valeurs de fréquence fondamentale $f_0$ par tranche temporelle, tout en ignorant la tâche plus difficile de détection des événements notes. Malgré leur haute précision, ces systèmes spécialisés sont souvent inadaptés à un déploiement dans des environnements réels. Les contraintes de stockage et de bande passante empêchent l'utilisation de plusieurs modèles spécialisés, tandis que les limitations de mémoire et de temps d'exécution limitent leur complexité. Dans ce papier, nous proposons un réseau neuronal léger pour la transcription d'instruments musicaux, capable de produire des sorties polyphoniques et de généraliser à une large variété d'instruments (y compris les voix humaines). Notre modèle est entraîné pour prédire simultanément les débuts par tranche, les multipitches et les activations de notes, et nous montrons expérimentalement que cette architecture multi-sortie améliore la précision au niveau des tranches. Malgré sa simplicité, les résultats sur les benchmarks montrent que notre système surpasse significativement une base comparable en termes d'estimation des notes, et atteint une précision au niveau des tranches seulement légèrement inférieure à celle des systèmes d'AMT spécialisés de pointe. À travers ce travail, nous espérons encourager la communauté à poursuivre l'exploration des systèmes d'AMT à faible ressource et indépendants de l'instrument.