Peut-on nourrir BERT avec RuCoLA ? Analyse topologique des données pour expliquer

Ce travail examine comment les modèles de langage Transformer (LMs) affinés pour la classification d'acceptabilité capturent des caractéristiques linguistiques. Notre approche utilise les meilleures pratiques de l'analyse topologique des données (TDA) en traitement du langage naturel (NLP) : nous construisons des graphes d'attention dirigés à partir des matrices d'attention, dérivons des caractéristiques topologiques à partir de ces graphes, et les alimentons à des classifieurs linéaires. Nous introduisons deux nouvelles caractéristiques, la cordalité et le nombre de couplage, et montrons que les classifieurs basés sur la TDA surpassent les méthodes de base par affinage. Nous expérimentons avec deux jeux de données, CoLA et RuCoLA, en anglais et en russe, respectivement, deux langues typologiquement différentes. De plus, nous proposons plusieurs techniques d'introspection en boîte noire visant à détecter les changements dans le mode d'attention des LMs lors de l'affinage, à définir les confiances de prédiction des LMs, et à associer des têtes individuelles à des phénomènes grammaticaux fins. Nos résultats contribuent à la compréhension du comportement des LMs monolingues dans la tâche de classification d'acceptabilité, fournissent des insights sur les rôles fonctionnels des têtes d'attention, et mettent en lumière les avantages des approches basées sur la TDA pour l'analyse des LMs. Nous mettons à disposition le code et les résultats expérimentaux pour une utilisation ultérieure.