알 수 없는 손상된 이미지 분류를 위한 확산 기반 적응

알 수 없는 저해상도 이미지의 분류는 이미지 저하 모델이 일반적으로 알려져 있지 않기 때문에 실용적 응용에서 필수적이다. 확산 기반 모델은 저해상도 이미지로부터 이미지 강화 및 이미지 복원에 있어 향상된 성능을 제공한다. 본 연구에서는 복원 대신 적응(adaptation)에 확산 기반 모델을 활용한다. 저해상도 이미지로부터의 복원은 저하되지 않은 깨끗한 이미지를 복원하는 것을 목표로 하지만, 적응은 저해상도 이미지를 깨끗한 이미지 영역으로 변환하는 것을 목적으로 한다. 그러나 확산 모델은 알려지지 않은 저하 모델로 인해 특정 저하가 발생하는 경우 이미지 적응을 수행하는 데 어려움을 겪는다. 확산 모델이 알 수 없는 저하 이미지 분류를 위한 적응 과정에서 완벽한 깨끗한 이미지를 생성하지 못하는 문제를 해결하기 위해, 본 연구에서는 몇 가지 알려진 저하 유형에 기반한 강건한 분류기로 훈련된 새로운 확산 기반 적응 방법인 Diffusion-based Adaptation for Unknown Degraded images (DiffAUD)를 제안한다. 제안된 DiffAUD는 확산 모델을 보완하며, 다양한 저하 유형과 각기 다른 심각도에 대해 일관되게 잘 일반화된다. Imagenet-C 데이터셋에서 ResNet-50, Swin Transformer (Tiny), ConvNeXt-Tiny 백본을 사용할 때, 기준 확산 모델 및 깨끗한 이미지 분류기 대비 각각 5.5%, 5%, 5%의 성능 향상을 달성한다. 또한, 알려진 저하 유형을 활용한 분류기 훈련이 저해상도 이미지 분류에 있어 상당한 성능 향상을 가져온다는 점을 입증하였다.