Diese Arbeit untersucht, wie Transformer-Sprachmodelle (LMs), die für die Akzeptabilitätsklassifizierung feinjustiert wurden, sprachliche Merkmale erfassen. Unser Ansatz nutzt die besten Praktiken der topologischen Datenanalyse (TDA) im Bereich der NLP: Wir bauen gerichtete Aufmerksamkeitsgraphen aus den Aufmerksamkeitsmatrizen auf, leiten topologische Merkmale daraus ab und füttern diese in lineare Klassifizierer ein. Wir führen zwei neue Merkmale ein, Chordalität und die Matching-Zahl, und zeigen, dass TDA-basierte Klassifizierer die Baseline-Methoden der Feinjustierung übertreffen. Wir führen Experimente mit zwei Datensätzen durch, CoLA und RuCoLA in Englisch und Russisch, zwei sprachlich typologisch unterschiedlichen Sprachen. Darüber hinaus schlagen wir mehrere Black-Box-Introspektionstechniken vor, die darauf abzielen, Veränderungen im Aufmerksamkeitsmodus der LMs während der Feinjustierung zu erkennen, die Konfidenz der Vorhersagen der LMs zu definieren und einzelne Heads mit feingranularen grammatischen Phänomenen in Verbindung zu bringen. Unsere Ergebnisse tragen zur Verständnis des Verhaltens mono-sprachlicher LMs bei der Akzeptabilitätsklassifizierung bei, geben Einblicke in die funktionalen Rollen von Aufmerksamkeitsheads und unterstreichen die Vorteile von TDA-basierten Ansätzen zur Analyse von LMs. Wir stellen den Code und die experimentellen Ergebnisse zur Verfügung, um weitere Anwendungsmöglichkeiten zu ermöglichen.