Transformers向けXAI：保守的伝播によるより優れた説明

Transformerは機械学習の重要な基盤技術となり、多岐にわたる応用が行われている。このような背景から、モデルの透明性を高める信頼性の高い手法の開発が不可欠となっている。これまでに、勾配情報に基づく多くの解釈可能性（interpretability）手法が提案されてきた。しかし本研究では、Transformerにおける勾配が入力特徴量の予測への寄与を局所的にしか反映しないこと、すなわち、特徴量の寄与を信頼性高く特定できないことを示した。その原因として、AttentionヘッドおよびLayerNormが主な要因であることを特定し、これらの層を通過する際の伝搬をより安定化する新たな手法を提案した。本研究で提示する手法は、広く確立されたLRP（Layer-wise Relevance Propagation）手法をTransformerに適切に拡張したものと捉えることができる。理論的・実証的な観点から、単純な勾配ベースのアプローチに見られる欠陥を克服し、幅広いTransformerモデルおよびデータセットにおいて、最先端の解釈性能を達成することが示された。