단일 이미지 반사 제거를 위한 미스얼라이먼트 훈련 데이터 및 네트워크 개선 활용

유리 창을 통해 촬영된 단일 이미지에서 원하지 않는 반사를 제거하는 것은 시각 컴퓨팅 시스템에 있어 실용적인 중요성을 갖습니다. 최신 방법론들이 특정 상황에서는 좋은 결과를 얻을 수 있지만, 보다 일반적인 실제 사례를 처리할 때 성능이 크게 저하되는 문제가 있습니다. 이러한 실패는 단일 이미지 반사 제거의 본질적인 어려움, 즉 문제의 근본적인 불정합성과 학습 기반 신경망 파이프라인에서 이 불확실성을 해결하기 위한 밀집 라벨링 훈련 데이터의 부족함에서 비롯됩니다. 본 논문에서는 이러한 문제들을 타겟팅된 네트워크 개선 및 오정렬 데이터의 혁신적 활용을 통해 해결하고자 합니다. 전자의 경우, 고차원적 맥락 정보를 활용하여 강한 반사가 포함된 영역 내의 불확실성을 줄일 수 있는 맥락 인코딩 모듈을 기준 네트워크 아키텍처에 통합하였습니다. 후자의 경우, 수집이 훨씬 용이한 오정렬 실제 훈련 데이터를 활용할 수 있도록 정렬 불변 손실 함수(Alignment-invariant loss function)를 도입하였습니다. 실험 결과들은 집합적으로 우리 방법론이 정렬된 데이터로는 최신 기술보다 우수하며, 추가적인 오정렬 데이터를 사용하면 상당한 개선이 가능함을 보여줍니다.