ASteISR: 효율적인 스테레오 이미지 초해상도를 위한 단일 이미지 초해상도 사전 학습 모델 적응

저수준 시각 작업의 사전 학습 후 미세 조정 패러다임이 발전함에도 불구하고, 특히 메모리 사용량과 학습 시간과 관련하여 사전 학습 모델의 크기 증가로 인한 상당한 도전 과제가 여전히 존재합니다. 또한, 사전 학습된 단일 이미지 모델을 다중 이미지 영역에 직접 적용할 때 불만족스러운 결과가 종종 발생하는 문제도 자주 제기됩니다. 본 논문에서는 이러한 문제를 해결하기 위해, 파라미터 효율적인 미세 조정(PEFT) 방법을 통해 사전 학습된 단일 이미지 초해상도(SISR) 트랜스포머 네트워크를 스테레오 이미지 초해상도(SteISR) 영역으로 전환하는 효율적인 방법을 제안합니다. 구체적으로, 스테레오 어댑터와 공간 어댑터라는 개념을 소개하며, 이를 사전 학습된 SISR 트랜스포머 네트워크에 통합합니다. 이후, 사전 학습된 SISR 모델은 고정되어 스테레오 데이터셋을 사용하여 어댑터만 미세 조정할 수 있도록 합니다. 이 학습 방법을 채택함으로써 Flickr1024 데이터셋에서 스테레오 이미지를 정확하게 추론하는 능력을 0.79dB 향상시켰습니다. 이 방법은 원래 모델 파라미터의 4.8%만 학습시키면서 네 가지 주요 SteISR 벤치마크에서 최고 수준의 성능을 달성하였습니다. 전체 미세 조정 접근법보다 복잡하지 않은 우리의 방법은 학습 시간과 메모리 소비를 각각 57%와 15% 줄였습니다.