HyperAIHyperAI

Command Palette

Search for a command to run...

Akzeptabilitätsurteile durch Untersuchung der Topologie von Aufmerksamkeitskarten

Daniil Cherniavskii Eduard Tulchinskii Vladislav Mikhailov Irina Proskurina Laida Kushnareva Ekaterina Artemova Serguei Barannikov Irina Piontkovskaya Dmitri Piontkovski Evgeny Burnaev

Zusammenfassung

Die Rolle des Aufmerksamkeitsmechanismus bei der Kodierung sprachlicher Kenntnisse hat in der natürlichen Sprachverarbeitung (NLP) besondere Aufmerksamkeit gefunden. Die Fähigkeit der Aufmerksamkeitsköpfe, die grammatikalische Akzeptabilität von Sätzen zu beurteilen, ist jedoch bisher untererforscht geblieben. In dieser Arbeit wird der Paradigma der Akzeptabilitätsurteile mit topologischer Datenanalyse (TDA) angegangen, wobei gezeigt wird, dass die geometrischen Eigenschaften des Aufmerksamkeitsgraphen effizient für zwei etablierte Praktiken der Linguistik genutzt werden können: binäre Urteile und linguistische Minimalpaare. Topologische Merkmale steigern die Genauigkeit des BERT-basierten Akzeptabilitätsklassifikators um 8 % bis 24 % auf dem CoLA-Datensatz in drei Sprachen (Englisch, Italienisch und Schwedisch). Durch die Aufdeckung topologischer Unterschiede zwischen Aufmerksamkeitskarten von Minimalpaaren erreichen wir menschennahes Leistungsniveau auf dem BLiMP-Benchmark und übertreffen damit neun statistische und Transformer-LM-Baselines. Gleichzeitig liefert die TDA die Grundlage für die Analyse der linguistischen Funktionen von Aufmerksamkeitsköpfen sowie die Interpretation der Korrespondenz zwischen Graphmerkmalen und grammatischen Phänomenen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp