광학 흐름 추정을 위한 겹치는 주의를 활용한 전역 매칭

광학 흐름 추정은 컴퓨터 비전 분야에서 핵심적인 작업이다. 최근 딥 신경망을 활용한 직접 회귀 기반의 방법들은 뛰어난 성능 향상을 달성하고 있다. 그러나 이러한 방법들은 장거리 운동 대응 관계를 명시적으로 모델링하지 못하므로, 큰 운동량을 효과적으로 처리하지 못하는 한계가 있다. 본 논문에서는 전통적인 매칭-최적화 기법을 영감으로 삼아, 에너지 기반 최적화 전에 매칭을 도입하여 큰 이동을 처리하는 방식을 참고하여, 직접 회귀 전에 간단하지만 효과적인 전역 매칭 단계를 도입하고, 학습 기반의 매칭-최적화 프레임워크인 GMFlowNet을 제안한다. GMFlowNet에서는 4차원 비용 볼륨에 argmax를 적용함으로써 전역 매칭을 효율적으로 계산한다. 또한, 매칭 정확도를 향상시키기 위해 패치 기반 겹침 주의(overlapping attention)를 제안하여 대규모 맥락 특징을 추출한다. 광범위한 실험을 통해 GMFlowNet이 가장 인기 있는 최적화 중심 방법인 RAFT를 크게 앞서며, 표준 벤치마크에서 최신 기술 수준의 성능을 달성함을 입증하였다. 매칭과 겹침 주의 기법 덕분에, GMFlowNet은 무문자 영역 및 큰 운동에 대한 예측 성능에서 큰 향상을 보였다. 본 연구의 코드는 공개되어 있으며, https://github.com/xiaofeng94/GMFlowNet 에서 확인할 수 있다.