
최근 연구들은 밝기 일정성 가정과 부드러움 사전 정보를 기반으로, 레이블이 없는 이미지 쌍에서 딥 네트워크를 통해 광학 흐름(optical flow)을 학습할 수 있음을 보여주었다. 현재의 접근 방식들은 특히 어려운 매칭 영역에서 효과적인 지속적인 자기지도 학습(self-supervision)을 위해 증강 정규화 항을 추가하고 있다. 그러나 이 방법은 비지도 학습 환경에서 피할 수 없는 불일치(mismatch)를 더욱 심화시켜, 최적의 해로의 학습 과정을 방해하는 문제를 야기한다. 이러한 딜레마를 해결하기 위해, 우리는 교사(teacher)와 학생(student) 네트워크 간에 신뢰할 수 있는 지식을 교차로 전달함으로써 순차적 개선을 유도하는 새로운 상호 정제(mutual distillation) 프레임워크를 제안한다. 구체적으로, 기존의 비지도 접근 방식의 추정 결과를 의사 레이블(pseudo labels)로 활용하며, 본 연구의 핵심 아이디어는 상대적으로 우수한 매칭을 추출하기 위한 신뢰도 선택 메커니즘(confidence selection mechanism)을 정의하고, 다양한 데이터 증강을 도입하여 교사에서 학생으로 안정적이고 충분한 지식을 정제하는 것이다. 본 방법의 분리된 구조(decouple nature) 덕분에, 충분한 학습을 위해 더 강력한 학생 아키텍처를 선택할 수 있다. 마지막으로, 개선된 학생의 예측 결과를 실시간 배포 시 추가 비용 없이 효율적인 교사로 다시 전달함으로써 지식을 되돌려주는 구조를 구현한다. 감독 학습 형태로 설정하는 대신, 다중 목표 학습을 위한 추가적인 비지도 항을 도입함으로써 최종 성능이 가장 우수함을 발견하였다. 광범위한 실험 결과를 통해 제안한 방법, 즉 MDFlow가 도전적인 벤치마크에서 최신 기술 수준의 실시간 정확도와 일반화 능력을 달성함을 입증하였다. 코드는 https://github.com/ltkong218/MDFlow 에 공개되어 있다.