현지 다중 헤드 채널 자체 주의 기반 얼굴 표정 인식

2017년 Transformer 아키텍처가 소개된 이후, 컴퓨터 비전 분야에 자기 주의(self-attention) 패러다임을 도입하려는 시도가 수없이 이루어져 왔다. 본 논문에서는 거의 모든 합성곱 신경망(Convolutional Neural Network, CNN)에 쉽게 통합할 수 있으며, 컴퓨터 비전에 특화된 새로운 자기 주의 모듈인 LHC(Local (multi) Head Channel (self-attention))을 제안한다. LHC는 두 가지 핵심 아이디어에 기반한다. 첫째, 컴퓨터 비전 분야에서 자기 주의 패러다임을 가장 효과적으로 활용하는 방법은 공간적 주의(spatial attention)보다 채널별 적용(channel-wise application)임을 주장한다. 또한, 자기 주의 모듈이 복합 네트워크에서 순환 신경망(RNN)이 자연어 처리(NLP)에서 대체된 것처럼 합성곱 연산을 완전히 대체할 것이라고 보지 않는다. 둘째, 전역적 주의(global attention)보다 국소적 접근(local approach)이 합성곱의 한계를 더 효과적으로 극복할 잠재력을 지닌다. LHC-Net을 통해 기존의 최고 성능(SOTA)보다 훨씬 낮은 계산 복잡도와 '호스트' 아키텍처에 미치는 영향을 보이며, 유명한 FER2013 데이터셋에서 새로운 최고 성능을 달성했다.