事전 학습된 이미지 처리 트랜스포머

현대 하드웨어의 컴퓨팅 능력이 급속히 증가함에 따라, 대규모 데이터셋에서 학습된 사전 훈련된 딥 러닝 모델(예: BERT, GPT-3)은 기존 방법을 능가하는 효과를 보여주고 있습니다. 이 큰 발전은 주로 트랜스포머와 그 변형 아키텍처의 표현 능력 덕분입니다. 본 논문에서는 저수준 컴퓨터 비전 작업(예: 노이즈 제거, 초해상도, 비 제거)을 연구하고 새로운 사전 훈련된 모델인 이미지 처리 트랜스포머(IPT)를 개발하였습니다. 트랜스포머의 능력을 최대한 활용하기 위해 잘 알려진 ImageNet 벤치마크를 사용하여 많은 양의 손상된 이미지 쌍을 생성하였습니다. IPT 모델은 이러한 이미지를 다중 헤드와 다중 테일을 사용하여 학습됩니다. 또한, 다양한 이미지 처리 작업에 적응하기 위해 대조학습(contrastive learning)이 도입되었습니다. 따라서 사전 훈련된 모델은 미세 조정(fine-tuning) 후 원하는 작업에 효율적으로 적용될 수 있습니다. 단 하나의 사전 훈련된 모델로 IPT는 다양한 저수준 벤치마크에서 현재 최신 방법들을 능가합니다. 코드는 https://github.com/huawei-noah/Pretrained-IPT 및 https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT 에서 확인할 수 있습니다.