Akzeptabilitätsurteile durch Untersuchung der Topologie von Aufmerksamkeitskarten

Die Rolle des Aufmerksamkeitsmechanismus bei der Kodierung sprachlicher Kenntnisse hat in der natürlichen Sprachverarbeitung (NLP) besondere Aufmerksamkeit gefunden. Die Fähigkeit der Aufmerksamkeitsköpfe, die grammatikalische Akzeptabilität von Sätzen zu beurteilen, ist jedoch bisher untererforscht geblieben. In dieser Arbeit wird der Paradigma der Akzeptabilitätsurteile mit topologischer Datenanalyse (TDA) angegangen, wobei gezeigt wird, dass die geometrischen Eigenschaften des Aufmerksamkeitsgraphen effizient für zwei etablierte Praktiken der Linguistik genutzt werden können: binäre Urteile und linguistische Minimalpaare. Topologische Merkmale steigern die Genauigkeit des BERT-basierten Akzeptabilitätsklassifikators um 8 % bis 24 % auf dem CoLA-Datensatz in drei Sprachen (Englisch, Italienisch und Schwedisch). Durch die Aufdeckung topologischer Unterschiede zwischen Aufmerksamkeitskarten von Minimalpaaren erreichen wir menschennahes Leistungsniveau auf dem BLiMP-Benchmark und übertreffen damit neun statistische und Transformer-LM-Baselines. Gleichzeitig liefert die TDA die Grundlage für die Analyse der linguistischen Funktionen von Aufmerksamkeitsköpfen sowie die Interpretation der Korrespondenz zwischen Graphmerkmalen und grammatischen Phänomenen.