Transformers를 위한 XAI: 보수적 전파를 통한 더 나은 설명

Transformers는 기계 학습 분야에서 중요한 핵심 기술로 자리 잡았으며, 다양한 응용 분야에서 활용되고 있다. 이러한 배경에서 모델의 투명성(해석 가능성)을 높이기 위한 신뢰할 수 있는 방법 개발이 필수적이다. 기존에 여러 가지 해석 가능성 기법이 제안되었으며, 대부분이 기울기(gradient) 정보를 기반으로 하고 있다. 본 연구에서는 Transformer 내부의 기울기가 입력 특징의 예측에 대한 기여도를 전역적으로 반영하지 못하고 국소적인 정보만을 반영함을 보이며, 단순한 기울기 기반 접근법이 입력 특징의 기여도를 신뢰할 수 있게 식별하지 못함을 밝혀냈다. 또한, 이러한 신뢰성 없는 설명의 주요 원인으로 Attention Head와 LayerNorm을 지적하고, 이러한 레이어를 통과할 때 보다 안정적인 신호 전파를 위한 새로운 방안을 제안한다. 본 연구에서 제안하는 방법은 기존에 잘 정립된 LRP(Layer-wise Relevance Propagation) 기법을 Transformers에 적절히 확장한 것으로 볼 수 있으며, 이론적·실증적으로 단순 기울기 기반 접근법의 한계를 극복함을 입증하였다. 또한 다양한 Transformer 모델과 데이터셋에서 최신 기술 수준의 해석 성능을 달성함을 보였다.