기대-최대화 주의 네트워크를 이용한 의미 분할

셀프 어텐션 메커니즘이 다양한 작업에 널리 사용되고 있습니다. 이 메커니즘은 모든 위치의 특징을 가중합으로 계산하여 각 위치의 표현을 구하는 데 설계되었습니다. 따라서, 컴퓨터 비전 작업에서 장거리 관계를 포착할 수 있습니다. 그러나, 이는 계산적으로 소모적입니다. 어텐션 맵이 모든 다른 위치에 대해 계산되기 때문입니다. 본 논문에서는 어텐션 메커니즘을 기대값-최대화(Expectation-Maximization, EM) 방식으로 공식화하고, 어텐션 맵이 계산되는 기반(base) 집합을 반복적으로 추정하여 훨씬 더 컴팩트한 집합을 생성합니다. 이러한 기반 위에서 가중합을 통해 얻어진 표현은 저순위(low-rank)이며 입력에서 노이즈 정보를 제거합니다. 제안된 기대값-최대화 어텐션(Expectation-Maximization Attention, EMA) 모듈은 입력의 변동성에 강하며 메모리와 계산에서도 효율적입니다. 또한, 우리는 기반 유지 및 정규화 방법을 설정하여 그 학습 절차를 안정화시킵니다. PASCAL VOC, PASCAL Context 및 COCO Stuff와 같은 인기 있는 의미 분할 벤치마크에서 광범위한 실험을 수행하였으며, 새로운 기록을 세웠습니다.