효율적인 주의: 선형 복잡도를 가진 주의

점적곱 주의 메커니즘은 컴퓨터 비전과 자연어 처리에서 널리 응용되고 있습니다. 그러나, 이 메커니즘의 메모리와 계산 비용은 입력 크기에 따라 이차적으로 증가합니다. 이러한 성장은 고해상도 입력에 대한 적용을 방해합니다. 이를 해결하기 위해, 본 논문에서는 점적곱 주의와 동등하지만 훨씬 적은 메모리와 계산 비용을 요구하는 새로운 효율적인 주의 메커니즘을 제안합니다. 이 메커니즘의 자원 효율성은 주의 모듈을 네트워크에 더 광범위하고 유연하게 통합할 수 있게 하며, 이는 더 나은 정확도를 가져옵니다. 경험적 평가는 이 장점들의 효과성을 입증하였습니다. 효율적인 주의 모듈들은 MS-COCO 2017 데이터셋에서 객체 검출기와 인스턴스 분할기의 성능을 크게 향상시켰습니다. 또한, 자원 효율성은 고비용으로 점적곱 주의 사용이 제한되던 복잡한 모델에서도 주의 메커니즘을 활용할 수 있게 하여 민주화하였습니다. 예로, 효율적인 주의를 사용한 모델이 Scene Flow 데이터셋에서 스테레오 깊이 추정에 있어 최고 수준의 정확도를 달성하였습니다. 코드는 https://github.com/cmsflash/efficient-attention 에서 제공됩니다.