잔여 조건부 최적 운송: 구조 보존형 비대응 및 대응 이미지 복원을 향해

딥러닝 기반 이미지 복원 방법은 일반적으로 원본 이미지의 구조를 충실하게 보존하는 데 어려움을 겪습니다. 본 연구에서는 이러한 문제를 해결하기 위해 새로운 잔차 조건부 최적 운송(Residual-Conditioned Optimal Transport, RCOT) 접근법을 제안합니다. 이 접근법은 짝이 맞는 경우와 맞지 않는 경우 모두에서 이미지 복원을 최적 운송(OT) 문제로 모델링하며, 운송 잔차를 운송 비용과 운송 맵에 대한 고유한 손상 특성 정보로 도입합니다.구체적으로, 먼저 잔차의 손상 특성 정보를 운송 비용에 통합하여 푸리에 잔차 안내 OT 목적함수를 정식화합니다. 또한, 운송 맵을 베이스 모델과 개선 과정으로 구성된 두 단계 RCOT 맵으로 설계합니다. 첫 번째 단계에서 베이스 모델이 운송 잔차를 계산하고, 이를 두 번째 단계 복원 과정에 조건부로 적용하기 위해 손상 특성 임베딩으로 인코딩합니다. 쌍대성을 통해 RCOT 문제는 최소최대 최적화 문제로 변환되며, 이는 신경망의 적대적 학습을 통해 해결할 수 있습니다.다양한 복원 작업에 대한 광범위한 실험 결과, RCOT는 왜곡 측정 및 지각 품질 면에서 경쟁력 있는 성능을 달성하며, 기존 최신 방법들과 비교해 더 충실한 구조로 이미지를 복원하는 것으로 나타났습니다.