대조 학습(Contrastive learning)은 고수준 시각 작업에서 주류가 되어 가는 패러다임으로, 적절한 음성 샘플(negative samples)을 도입함으로써 저수준 시각 작업에도 활용되어, 그 부정확한 성질(ill-posed nature)을 고려한 효율적인 최적화 공간을 확보하는 데 기여하고 있다. 그러나 기존의 방법들은 수작업으로 사전 정의된, 특정 작업에 특화된 음성 샘플에 의존하며, 이로 인해 뚜렷한 작업 특화 편향(task-specific biases)이 발생하는 문제가 있다. 이러한 문제를 해결하기 위해 본 논문은 '과거로부터 학습하기(learning from history)'라는 혁신적인 방법을 제안한다. 이 방법은 대상 모델 자체에서 동적으로 음성 샘플을 생성함으로써, 기존의 고정된 음성 샘플에 대한 의존성을 완화한다. 제안하는 접근법은 이미지 복원을 위한 모델 대조 학습(Model Contrastive Learning for Image Restoration, MCLIR)으로, 지연 모델(latency models)을 음성 모델(negative models)로 재활용함으로써 다양한 이미지 복원 작업에 유연하게 적용 가능하도록 한다. 이를 가능하게 하기 위해 자기 사전 지식(Self-Prior)을 기반으로 한 음성 손실(Self-Prior guided Negative loss, SPN)을 제안한다. 제안된 모델 대조 학습 프레임워크를 사용하여 재학습된 모델은 기존 모델의 성능을 크게 향상시킨다. 다양한 작업과 아키텍처에서 이미지 복원 성능이 뚜렷하게 개선됨을 확인할 수 있다. 예를 들어, RESIDE 내부 환경 데이터셋에서 이미지 해저징(image dehazing) 작업에 대해, SPN을 활용해 재학습한 모델은 기존 FFANet보다 3.41 dB, DehazeFormer보다 0.57 dB 향상된 성능을 보였다. 또한, 이미지 비오개선(image deraining) 작업에서는 SPA-Data 데이터셋에서 IDT 대비 0.47 dB 향상되었으며, Manga109 데이터셋에서 4배 확대(super-resolution) 작업에서는 경량 SwinIR 대비 0.12 dB의 성능 향상을 달성했다. 코드 및 재학습된 모델은 https://github.com/Aitical/MCLIR 에서 제공된다.