
초록
딥러닝 기반 접근법은 광학 흐름 추정 문제 해결에 큰 성공을 거두었다. 이러한 성공의 핵심은 비용 볼륨(cost volume)의 활용과 거친부터 세밀한 흐름 추론(coarse-to-fine flow inference)의 적용에 있다. 그러나 이미지 내 부분적 음영 또는 균일한 영역이 존재할 경우 매칭 문제는 부정확한 해를 가질 수 있으며, 이는 비용 볼륨 내에 이상치(outliers)를 포함하게 하고, 이를 바탕으로 한 흐름 복원 과정에 악영향을 미친다. 또한 거친부터 세밀한 흐름 추론은 정확한 초기 흐름 설정을 요구한다. 모호한 대응 관계는 잘못된 흐름장을 유도하며, 이후 레벨에서의 흐름 추론에도 부정적인 영향을 미친다. 본 논문에서는 위의 과제를 해결하기 위해 두 가지 전용 모듈로 구성된 깊은 신경망인 LiteFlowNet3을 제안한다. (1) 흐름 복원 전에 각 비용 벡터를 적응형 조절(adaptive modulation)을 통해 보정함으로써 비용 볼륨 내 이상치 문제를 개선한다. (2) 지역적 흐름 일관성(local flow consistency)을 탐색함으로써 흐름 정확도를 further 향상시킨다. 이를 위해 새로운 흐름장 왜곡(warping) 기법을 도입하여, 정확도가 낮은 광학 흐름을 근처 위치의 정확한 흐름으로 대체한다. LiteFlowNet3는 공개 벤치마크에서 우수한 성능을 달성함과 동시에 모델 크기가 작고 빠른 실행 속도를 갖는다는 장점을 지닌다.