Instruct-IPT: 가중치 조절을 통한 올인원 이미지 처리 트랜스포머

저수준 비전 모델의 부담스러운 크기와 집중적인 계산 비용 때문에, 여러 저수준 비전 작업을 동시에 처리하도록 설계된 올인원(All-in-One) 모델이 인기를 얻고 있습니다. 그러나 기존의 올인원 모델은 작업 범위와 성능 면에서 제한적입니다. 이러한 제한을 극복하기 위해, 우리는 Instruct-IPT -- 다양한 이미지 복원 작업 간에 큰 차이가 있는 노이즈 제거, 블러 제거, 빗물 제거, 안개 제거 및 눈 제거 등의 작업을 효과적으로 처리할 수 있는 올인원 이미지 처리 트랜스포머(All-in-One Image Processing Transformer, IPT)를 제안합니다.대부분의 연구는 특징 적응 방법을 제안하지만, 우리는 이 방법들이 매우 다른 작업들을 처리하는 데 실패함을 밝히고, 특정 작업에 맞게 가중치를 조정하는 가중치 변조(weight modulation) 방법을 제안합니다. 첫째, 우리는 작업에 민감한 가중치를 탐색하고 그 위에 작업별 편향(task-specific biases)을 도입합니다. 둘째, 좋은 압축 전략을 위한 순위 분석(rank analysis)을 수행하고 편향에 대한 저순위 분해(low-rank decomposition)를 진행합니다. 셋째, 일반적인 백본 모델(task-general backbone model)과 작업별 편향을 동시에 업데이트하는 동기화 학습(synchronous training) 방법을 제안합니다. 이렇게 하면 모델은 일반 지식과 작업별 지식을 동시에 학습하도록 지시받습니다.우리의 단순하면서도 효과적인 방법으로 Instruct-IPT는 특성이 다른 작업들 간의 협력을 낮은 비용으로 더욱 잘 수행할 수 있습니다. 추가적으로, 우리는 Instruct-IPT가 인간의 프롬프트(prompt)를 받도록 설정하였습니다. Instruct-IPT에 대한 실험을 통해 우리의 방법이 다양한 작업에서 효과적임을 입증하였으며, 확산 노이즈 제거기(diffusion denoisers)에도 효과적으로 확장하였습니다. 코드는 https://github.com/huawei-noah/Pretrained-IPT에서 확인할 수 있습니다.