GMFlow: 글로벌 매칭을 통한 광학 흐름 학습

기반 학습 기반의 광학 흐름 추정은 흐름 회귀를 위해 컨볼루션을 활용한 비용 볼륨 파이프라인으로 주도되어 왔으며, 이는 본질적으로 국소적 상관관계에 한정되어 있어 장거리 이동이라는 오랜 도전 과제를 해결하기 어렵다. 이를 완화하기 위해 최신 기법 RAFT는 반복적인 정밀 조정을 다수 수행함으로써 예측 정확도를 점진적으로 향상시키지만, 이로 인해 추론 시간이 선형적으로 증가하는 문제가 발생한다. 정확도와 효율성을 동시에 달성하기 위해, 우리는 광학 흐름을 전역적 매칭 문제로 재정의함으로써 기존의 주도적인 흐름 회귀 파이프라인을 완전히 개선하였다. 이는 특징 유사도를 직접 비교함으로써 대응 관계를 식별하는 방식이다. 구체적으로, GMFlow 프레임워크를 제안하며, 이는 세 가지 주요 구성 요소로 구성된다: 특징 강화를 위한 맞춤형 트랜스포머, 전역적 특징 매칭을 위한 상관관계 및 소프트맥스 레이어, 그리고 흐름 전파를 위한 자체 주의(self-attention) 레이어이다. 또한, 더 높은 특징 해상도에서 GMFlow를 재사용하여 잔차 흐름을 예측하는 보정 단계를 도입하였다. 제안하는 새로운 프레임워크는 도전적인 Sintel 벤치마크에서 31회 반복을 수행하는 RAFT를 초월하며, 단 하나의 반복만을 사용하면서도 더 빠르게 작동함으로써 정확하고 효율적인 광학 흐름 추정을 위한 새로운 패러다임을 제시한다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/haofeixu/gmflow.