Apprentissage de représentations de la parole indépendantes du problème à partir de plusieurs tâches auto-supervisées

L'apprentissage de bonnes représentations sans supervision reste un problème ouvert en apprentissage automatique et est particulièrement difficile pour les signaux vocaux, qui sont souvent caractérisés par des séquences longues avec une structure hiérarchique complexe. Cependant, certaines études récentes ont montré qu'il est possible d'extraire des représentations utiles de la parole en utilisant une approche auto-supervisée basée sur un encodeur-décodeur. Cet article propose une méthode auto-supervisée améliorée, où un seul encodeur neuronal est suivi par plusieurs travailleurs qui résolvent conjointement différentes tâches auto-supervisées. Le consensus nécessaire entre les différentes tâches impose naturellement des contraintes significatives à l'encodeur, contribuant ainsi à découvrir des représentations générales et à minimiser le risque d'apprendre des représentations superficielles. Les expériences montrent que l'approche proposée peut apprendre des caractéristiques transférables, robustes et indépendantes du problème, qui contiennent des informations pertinentes issues du signal vocal, telles que l'identité du locuteur, les phonèmes et même des caractéristiques de niveau supérieur comme les indices émotionnels. De plus, plusieurs choix de conception rendent l'encodeur facilement exportable, facilitant son utilisation directe ou son adaptation à différents problèmes.