Amélioration de la classification vocale vers intention en bout-en-bout grâce à Reptile

Les systèmes de compréhension du langage parlé (SLU) en bout à bout présentent de nombreux avantages par rapport aux systèmes classiques en pipeline, mais la collecte de données vocales pertinentes pour former un tel système est coûteuse et chronophage. Une question s’impose alors : comment entraîner un système SLU en bout à bout avec une quantité limitée de données ? De nombreux chercheurs ont exploré des approches exploitant d’autres ressources de données connexes, généralement en pré-entraînant certaines parties du modèle sur des tâches de reconnaissance vocale à forte ressource. Dans cet article, nous proposons d’améliorer la performance de généralisation des modèles SLU grâce à un algorithme d’apprentissage non conventionnel, Reptile. Bien que Reptile ait été initialement conçu pour l’apprentissage métamodèle indépendant du modèle, nous soutenons qu’il peut également être utilisé directement pour apprendre une tâche cible et conduire à une meilleure généralisation que la descente de gradient conventionnelle. Dans ce travail, nous appliquons Reptile à la tâche de classification d’intention vocale en bout à bout. Des expériences menées sur quatre jeux de données issus de langues et domaines différents montrent une amélioration de la précision de prédiction des intentions, tant lorsque Reptile est utilisé seul qu’en complément du pré-entraînement.