Attentionマップのトポロジーを検討した場合のAcceptability Judgements

自然言語処理（NLP）における言語知識の符号化において、注目機構（attention mechanism）の役割は特に注目を集めている。しかし、注目ヘッドが文の文法的妥当性（grammatical acceptability）を判断する能力については、まだ十分に調査されていない。本研究は、妥当性判断の枠組みをトポロジカル・データ解析（TDA: Topological Data Analysis）を用いてアプローチし、注目グラフの幾何学的性質が、言語学における2つの標準的手法である二値判断と言語的最小対（linguistic minimal pairs）の分析に効果的に活用できることを示している。トポロジカル特徴量を導入することで、英語、イタリア語、スウェーデン語の3言語において、CoLA（Collection of Linguistic Acceptability Judgments）データセット上でのBERTベースの妥当性分類器の性能が8％～24％向上した。また、最小対の注目マップ間のトポロジカルな差異を明らかにすることで、BLiMPベンチマークにおいて人間レベルの性能を達成し、9つの統計モデルおよびTransformer言語モデルベースのベースラインを上回った。同時に、TDAは注目ヘッドの言語学的機能の分析と、グラフ特徴と文法現象との対応関係の解釈を可能にする基盤を提供している。