2달 전

글로벌 정보 집합을 재검토하여 이미지 복원 개선

Chu, Xiaojie ; Chen, Liangyu ; Chen, Chengpeng ; Lu, Xin
글로벌 정보 집합을 재검토하여 이미지 복원 개선
초록

글로벌 연산, 예를 들어 글로벌 평균 풀링은 최고 성능의 이미지 복원 모델에서 널리 사용되고 있습니다. 이러한 연산은 입력 특성의 전체 공간 차원을 따라 글로벌 정보를 집계하지만, 이미지 복원 작업에서 학습과 추론 과정에서 다르게 동작합니다: 학습에서는 서로 다른 영역, 즉 이미지를 잘라낸 패치와 전체 해상도 이미지를 기반으로 합니다. 본 논문은 글로벌 정보 집계를 재검토하고, 추론 시의 이미지 기반 특성이 학습 시의 패치 기반 특성과 다른 분포를 가짐을 발견하였습니다. 이 학습-테스트 불일치는 모델의 성능에 부정적인 영향을 미치며, 이전 연구에서는 이 점이 심각하게 간과되었습니다. 이러한 불일치를 줄이고 테스트 시간 성능을 개선하기 위해, 우리는 테스트 시간 로컬 컨버터 (Test-time Local Converter, TLC)라는 단순한 방법을 제안합니다. 우리의 TLC는 추론 시에만 글로벌 연산을 로컬 연산으로 변환하여, 전체 큰 이미지가 아닌 로컬 공간 영역 내에서 특성을 집계합니다. 제안된 방법은 다양한 글로벌 모듈(예: 정규화, 채널 및 공간 주의)에 적용할 수 있으며 비용이 거의 들지 않습니다. 어떤 미세 조정(fine-tuning)도 필요하지 않으며, TLC는 여러 이미지 복원 작업에서 최신 결과를 개선했습니다. 특히 GoPro 데이터셋에서 TLC를 사용한 Restormer-Local은 단일 이미지 블러 제거 성능을 32.92 dB에서 33.57 dB로 향상시켰습니다. 코드는 https://github.com/megvii-research/tlc 에서 확인할 수 있습니다.