Sauter le Niveau des Trames : Transcription de Piano Basée sur les Événements avec des Semi-CRFs Neuronaux

Les systèmes de transcription pour piano sont généralement optimisés pour estimer l’activité tonale à chaque trame audio. Ils sont souvent suivis par des heuristiques soigneusement conçues et des algorithmes de post-traitement afin d’estimer les événements notes à partir des prédictions au niveau des trames. Des approches récentes ont également formulé la transcription pour piano comme un problème d’apprentissage multi-tâches, où les activations de différentes étapes d’un événement note sont estimées indépendamment. Ces pratiques ne sont pas pleinement alignées avec l’objectif souhaité de la tâche, qui consiste à spécifier les intervalles de notes comme des événements holistiques, plutôt que d’agréger des observations disjointes. Dans ce travail, nous proposons une nouvelle formulation de la transcription pour piano, conçue pour prédire directement les événements notes. Notre méthode repose sur des Champs Aléatoires Conditionnels Semi-Markoviens (semi-CRF), qui produisent des scores pour des intervalles plutôt que pour des trames individuelles. En formulant la transcription pour piano de cette manière, nous éliminons la nécessité de s’appuyer sur des estimations disjointes au niveau des trames pour les différentes étapes d’un événement note. Nous menons des expériences sur le jeu de données MAESTRO et démontrons que le modèle proposé dépasse l’état de l’art actuel en matière de transcription pour piano. Nos résultats suggèrent que l’architecture de sortie semi-CRF, bien qu’elle présente une complexité quadratique, constitue une solution simple, rapide et performante pour la prédiction basée sur des événements, et pourrait conduire à des succès similaires dans d’autres domaines actuellement fondés sur des estimations au niveau des trames.