시선에 있는 선박: 선박 이미지 초해상도화를 위한 확산 모델

최근 몇 년간 이미지 생성 분야에서는 다양한 하위 작업, 예를 들어 이미지 보정(inpainting), 노이즈 제거(denoising), 초해상도(super resolution) 등에서 높은 품질의 출력을 요구하는 수요 증가에 힘입어 놀라운 발전이 이루어졌다. 특히 저해상도 이미지의 품질을 향상시키기 위한 초해상도 기술의 적용에 대한 연구 노력이 집중되고 있다. 이러한 맥락에서 본 연구는 해안 및 항만 감시와 같은 응용 분야에서 매우 중요한 선박 이미지 초해상도화 문제를 심층적으로 탐구한다. 또한 텍스트-이미지 확산 모델(text-to-image diffusion models)에 대한 관심 증가를 활용하여, 이러한 기초 모델이 이미 학습한 사전 지식(prior knowledge)을 효과적으로 활용할 수 있는 가능성을 탐색한다. 특히, 학습 과정에서 텍스트 조건(text conditioning)을 활용하면서 클래스 인식(class-aware) 구조를 갖춘 확산 모델 기반 아키텍처를 제안한다. 이를 통해 초해상도 이미지 생성 시 선박의 핵심 세부 정보를 최대한 보존할 수 있다. 본 작업의 특수성과 사전 준비된 데이터의 부족으로 인해, 주로 ShipSpotting\footnote{\url{www.shipspotting.com}} 웹사이트에서 수집한 대규모 레이블링된 선박 이미지 데이터셋을 새로 도입하였다. 여러 실험을 통해 제안한 방법이 이전에 사용된 다른 딥러닝 모델들보다 더 강건한 성능을 보임을 입증하였다. 또한 본 모델이 분류(classification) 및 객체 탐지(object detection)와 같은 하류 작업(downstream tasks)에 어떻게 기여할 수 있는지 탐구함으로써, 실제 환경에서의 실용적 적용 가능성을 강조한다. 실험 결과는 제안한 프레임워크가 다양한 작업에 대해 최신 기술 대비 뛰어난 유연성, 신뢰성, 그리고 인상적인 성능을 보임을 보여준다. 코드는 다음과 같은 주소에서 공개되어 있다: https://github.com/LuigiSigillo/ShipinSight.