Un cadre d'apprentissage contrastif conscient de la prédiction en deux étapes pour la compréhension linguistique multi-intentionnelle

L’identification de plusieurs intentions dans une même utterance (NLU multi-intentions) constitue un défi majeur en raison de la confusion qu’elle engendre chez les modèles. Bien que les travaux antérieurs aient adopté une approche d’apprentissage contrastif afin d’augmenter l’écart entre les étiquettes de multi-intentions différentes, ces méthodes peinent à capturer les subtilités propres à la NLU multi-intentions. En effet, elles négligent l’information riche contenue dans les intentions partagées entre les utterances, information qui pourrait contribuer à construire un espace d’encodage plus performant, notamment dans les scénarios à faible quantité de données. Nous proposons un cadre d’apprentissage contrastif prédictif en deux étapes, appelé PACL (Prediction-Aware Contrastive Learning), spécifiquement conçu pour la NLU multi-intentions afin d’exploiter pleinement ce savoir précieux. Notre approche exploite activement les informations communes aux intentions en combinant un pré-entraînement au niveau des mots et une fine-tuning contrastive pilotée par la prédiction. Un jeu de données de pré-entraînement est construit à l’aide d’une stratégie d’augmentation de données au niveau des mots. Ensuite, notre cadre attribue dynamiquement des rôles aux instances durant la fine-tuning contrastive, tout en introduisant une perte contrastive pilotée par la prédiction afin de maximiser l’effet de l’apprentissage contrastif. Des résultats expérimentaux et une analyse empirique menées sur trois jeux de données largement utilisés démontrent que notre méthode surpasse les performances de trois modèles de référence dans des scénarios à faible et à plein jeu de données.