IA-RED$^2$: 해석성에 따른 중복성 감소를 위한 비전 트랜스포머

자기 주의 기반 모델인 트랜스포머는 최근 컴퓨터 비전 분야에서 주요 백본으로 부상하고 있습니다. 트랜스포머가 다양한 비전 작업에서 뛰어난 성공을 거두었음에도 불구하고, 여전히 중량적인 계산과 많은 메모리 비용이 요구되는 문제를 안고 있습니다. 이 제한을 해결하기 위해 본 논문에서는 해석성 인식 중복성 감소 프레임워크(Interpretability-Aware REDundancy REDuction framework, IA-RED$^2$)를 제시합니다.우리는 먼저 대부분의 중복 계산이 상관관계가 없는 입력 패치에 소비된다는 사실을 관찰하였습니다. 이를 바탕으로 동적으로 그리고 우아하게 이러한 중복 패치들을 제거하는 해석 가능한 모듈을 도입하였습니다. 이 혁신적인 프레임워크는 계층적 구조로 확장되어, 다른 단계에서 상관관계가 없는 토큰들이 점진적으로 제거되면서 계산 비용이 크게 줄어들게 됩니다. 우리는 이미지와 비디오 작업 모두에서 광범위한 실험을 수행하였으며, DeiT와 TimeSformer 같은 최신 모델들의 경우 최대 1.4배의 속도 향상을 제공하면서 정확도를 0.7% 미만만 희생하였습니다.더 중요한 것은, 다른 가속화 접근법들과 달리 우리의 방법은 시각적 증거를 통해 본질적으로 해석 가능하다는 것입니다. 이는 비전 트랜스포머를 더 가볍게 만드는 동시에 인간에게 더 이해하기 쉬운 아키텍처로 다가가는 데 기여합니다. 우리는 질적 및 양적 결과를 통해, 우리 프레임워크에서 자연스럽게 나타난 해석성이 원래의 비전 트랜스포머에서 학습된 원시 주의보다 우수하며, 사전에 준비된 해석 방법들로 생성된 것보다도 더 나은 성능을 보이는 것을 입증하였습니다.프로젝트 페이지: http://people.csail.mit.edu/bpan/ia-red/.