BERTはRuCoLAを食べられますか？トポロジカルデータ解析による説明

本論文では、受容性分類のために微調整されたTransformer言語モデル（LMs）が言語的特徴をどのように捉えるかを調査しています。当研究のアプローチは、NLPにおけるトポロジー的データ解析（TDA）のベストプラクティスを使用します：注意行列から有向注意グラフを構築し、それらからトポロジー的特徴を導出し、線形分類器に供給します。私たちは新たに2つの特徴量、コード性（chordality）とマッチング数（the matching number）を導入し、TDAベースの分類器が微調整基準モデルを上回ることを示しています。実験には英語とロシア語というタイプ論的に異なる2つの言語のデータセットであるCoLAとRuCoLAを使用しました。さらに、微調整中にLMsの注意モードに生じる変化を検出するためのいくつかのブラックボックス内省技術、LMsの予測信頼度を定義する方法、および個々のヘッドを細かい文法現象に関連付ける手法を提案しています。当研究の結果は、単一言語LMsが受容性分類タスクにおいてどのような挙動を見せるかについて理解を深めるとともに、注意ヘッドの機能的な役割に関する洞察を与え、またLMs解析におけるTDAベース手法の優位性を強調しています。私たちはコードと実験結果を公開しており、今後の利用に向けて提供しています。