S'adapter ou être dépassé : Adaptation de domaine par le finetuning du modèle linguistique BERT pour la classification des sentiments ciblés par aspect

La classification de sentiment ciblée par aspect (Aspect-Target Sentiment Classification, ATSC) est une sous-tâche de l'analyse de sentiment basée sur les aspects (Aspect-Based Sentiment Analysis, ABSA), qui trouve de nombreuses applications, notamment dans le commerce électronique, où les données et les insights issus des avis peuvent être utilisés pour créer de la valeur pour les entreprises et les clients. Récemment, les méthodes d'apprentissage profond par transfert ont été appliquées avec succès à une multitude de tâches en traitement du langage naturel (Natural Language Processing, NLP), dont l'ATSC. En nous appuyant sur le modèle linguistique BERT largement reconnu, nous abordons l'ATSC en utilisant une procédure en deux étapes : un pré-entraînement auto-supervisé du modèle linguistique BERT spécifique au domaine, suivi d'un entraînement supervisé spécifique à la tâche. Nos résultats sur la meilleure façon d'exploiter le pré-entraînement du modèle linguistique spécifique au domaine nous permettent d'obtenir de nouvelles performances de pointe sur l'ensemble de données SemEval 2014 Task 4 restaurants. De plus, pour explorer la robustesse réelle de nos modèles dans le monde réel, nous effectuons une évaluation inter-domaines. Nous démontrons qu'un modèle linguistique BERT adapté inter-domaines performe significativement mieux que des modèles baselines puissants comme BERT-base et XLNet-base. Enfin, nous menons une étude de cas pour interpréter les erreurs de prédiction du modèle.