적대적 방어 효과를 갖춘 개인 재식별을 위한 데이터 증강 방법

사람 재식별(Person Re-identification, ReID) 모델의 보안은 ReID 기술의 실용화에 결정적인 역할을 한다. 그러나 깊은 신경망은 취약성이 있으며, 깨끗한 이미지에 탐지 불가능한 적대적 편향(advantageous perturbations)을 추가함으로써, 정상 이미지에서 우수한 성능을 보이는 깊은 신경망 모델을 속일 수 있음이 입증되었다. 본 연구에서는 적대적 공격에 대한 방어 효과를 갖춘 ReID 다중 모달 데이터 증강 방법을 제안한다. 첫째, 회색조 패치 교체(Grayscale Patch Replacement) 방법으로, 국부적 회색조 패치 교체(Local Grayscale Patch Replacement, LGPR)와 전역적 회색조 패치 교체(Global Grayscale Patch Replacement, GGPR)로 구성된다. 이 방법은 모델의 정확도를 향상시키는 동시에 적대적 예시에 대한 방어 능력을 강화한다. 둘째, 다중 모달 방어(Multi-Modal Defense) 기법은 가시광선, 회색조, 스케치 등 세 가지 동종 모달 이미지를 통합하여 모델의 방어 능력을 더욱 강화한다. 이러한 방법들은 동종 이미지의 다양한 모달을 융합함으로써 입력 샘플의 다양성을 풍부하게 하며, 샘플의 다양성 증가는 색상 변화에 대한 모델의 과적합을 줄이고, 공격자가 탐색할 수 있는 적대적 공간의 일치를 어렵게 만든다. 그 결과 모델의 정확도가 향상되고, 공격 효과는 크게 감소한다. 융합되는 동종 모달 이미지의 수가 많을수록 방어 능력은 더욱 강화된다. 제안된 방법은 다양한 데이터셋에서 우수한 성능을 보였으며, CVPR2020에서 제안된 MS-SSIM 기반의 ReID 공격에 대해 성공적으로 방어하였으며, 정확도를 467배 향상시켰다(0.2% → 93.3%). 코드는 다음 링크에서 확인 가능하다: https://github.com/finger-monkey/ReID_Adversarial_Defense.