HyperAIHyperAI

Command Palette

Search for a command to run...

通过分析注意力图的拓扑结构进行可接受性判断

Daniil Cherniavskii Eduard Tulchinskii Vladislav Mikhailov Irina Proskurina Laida Kushnareva Ekaterina Artemova Serguei Barannikov Irina Piontkovskaya Dmitri Piontkovski Evgeny Burnaev

摘要

注意力机制在编码语言知识中的作用在自然语言处理(NLP)领域备受关注。然而,注意力头判断句子语法可接受性的能力尚未得到充分探索。本文采用拓扑数据分析(Topological Data Analysis, TDA)方法,对可接受性判断范式进行研究,表明注意力图的几何特性可被高效用于语言学中的两项标准任务:二元可接受性判断与语言最小对立体分析。在三种语言(英语、意大利语和瑞典语)的CoLA数据集上,基于TDA的拓扑特征将BERT-based可接受性分类器的性能提升了8%至24%。通过揭示最小对立体间注意力图的拓扑差异,我们在BLiMP基准测试中实现了人类水平的表现,超越了九种统计模型与Transformer语言模型基线。同时,TDA为分析注意力头的语言学功能、解读图特征与语法现象之间的对应关系提供了坚实的理论基础。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供