PushPull-Net: 이미지 오염에 강한 억제 지향 ResNet

우리는 ResNet 아키텍처의 첫 번째 레이어에 새로운 계산 단위인 PushPull-Conv를 제안한다. 이 단위는 주된 시각 피질에서 관찰되는 반상위 억제(anti-phase inhibition) 현상에서 영감을 얻었다. PushPull-Conv는 전통적인 합성곱 레이어를 재정의하며, 훈련 가능한 '푸시 커널'(push kernel)과 그 보완적인 '풀 커널'(pull kernel)이라는 쌍의 보완적 필터를 구현한다. 푸시 커널은 기존 합성곱과 유사하게 특정 자극에 반응하도록 학습되며, 풀 커널은 동일한 자극이지만 반대 대비도(contrast)에 반응한다. 이러한 구조는 자극 선택성(stimulus selectivity)을 향상시키고, 선호되는 자극이 없는 영역에서의 반응을 효과적으로 억제한다. 이 효과는 푸시 및 풀 커널이 해당 영역에서 크기가 유사한 반응을 생성하여 서로 상쇄되기 때문이다. PushPull-Conv를 ResNet에 통합함으로써 이미지 손상에 대한 모델의 강건성(robustness)이 크게 향상된다. 기준 손상 데이터셋을 활용한 실험 결과, PushPull-Conv는 다른 데이터 증강 기법과 조합하여 모델의 강건성을 추가로 개선할 수 있음을 확인하였다. 특히 PRIME 증강 기법과 PushPull 억제를 결합할 경우, ResNet50 모델이 ImageNet-C에서 $mCE$ 값 49.95%를 기록하며 새로운 강건성 기준을 설정하였다.