Atténuation de l'impact des erreurs de reconnaissance vocale sur le système de réponse aux questions orales par adaptation de domaine adversariale

Le système de réponse à des questions orales (Spoken Question Answering, SQA) est un défi en raison du raisonnement complexe nécessaire sur les documents oraux. Les études récentes ont également mis en évidence l'impact catastrophique des erreurs de reconnaissance automatique de la parole (Automatic Speech Recognition, ASR) sur le SQA. Par conséquent, cette recherche propose une méthode pour atténuer ces erreurs en alignant les hypothèses ASR avec leurs transcriptions de référence correspondantes. Un modèle adversarial est appliqué à cette tâche d'adaptation de domaine, forçant le modèle à apprendre des caractéristiques invariantes par domaine que le modèle QA peut utiliser efficacement afin d'améliorer les résultats du SQA. Les expériences réalisées démontrent avec succès l'efficacité de notre modèle proposé, et les résultats surpassent ceux du meilleur modèle précédent avec une amélioration de 2% du score EM (Exact Match).