16 天前
通过分析注意力图的拓扑结构进行可接受性判断
Daniil Cherniavskii, Eduard Tulchinskii, Vladislav Mikhailov, Irina Proskurina, Laida Kushnareva, Ekaterina Artemova, Serguei Barannikov, Irina Piontkovskaya, Dmitri Piontkovski, Evgeny Burnaev
摘要
注意力机制在编码语言知识中的作用在自然语言处理（NLP）领域备受关注。然而，注意力头判断句子语法可接受性的能力尚未得到充分探索。本文采用拓扑数据分析（Topological Data Analysis, TDA）方法，对可接受性判断范式进行研究，表明注意力图的几何特性可被高效用于语言学中的两项标准任务：二元可接受性判断与语言最小对立体分析。在三种语言（英语、意大利语和瑞典语）的CoLA数据集上，基于TDA的拓扑特征将BERT-based可接受性分类器的性能提升了8%至24%。通过揭示最小对立体间注意力图的拓扑差异，我们在BLiMP基准测试中实现了人类水平的表现，超越了九种统计模型与Transformer语言模型基线。同时，TDA为分析注意力头的语言学功能、解读图特征与语法现象之间的对应关系提供了坚实的理论基础。