픽셀 단위의 분포 외 탐지를 위한 잔차 패턴 학습: 의미 분할에서의 적용

세멘틱 세그멘테이션 모델은 미리 정의된(‘in-distribution’) 시각적 클래스에 해당하는 픽셀들을 분류한다. 오픈 월드 환경에서 이러한 모델의 신뢰성은 단지 in-distribution 픽셀들을 정확히 분류하는 능력뿐 아니라, out-of-distribution (OoD) 픽셀을 탐지할 수 있는 능력에도 달려 있다. 전통적으로 이러한 모델의 OoD 탐지 성능이 낮았던 점은, OoD 시각적 객체를 포함한 합성 훈련 이미지를 활용하여 모델을 재훈련하는 방식의 방법 설계를 촉발시켰다. 비록 이러한 재훈련 기법들이 성공을 거두긴 했지만, 두 가지 문제를 가지고 있다. 첫째, 재훈련 과정에서 in-distribution 세그멘테이션 정확도가 저하될 수 있으며, 둘째, 훈련 데이터셋(예: 도시 환경) 외의 새로운 맥락(예: 농촌 환경)에 대해 OoD 탐지 성능이 잘 일반화되지 않는다는 점이다. 본 논문에서는 다음과 같은 두 가지 기법을 제안함으로써 이러한 문제를 완화한다. (i) inlier 픽셀의 세그멘테이션 성능에 영향을 주지 않으면서 OoD 픽셀을 탐지할 수 있도록 도와주는 새로운 잔차 패턴 학습(RPL) 모듈; 그리고 (ii) RPL 모듈이 다양한 맥락에서 OoD 픽셀을 견고하게 탐지하도록 강제하는 새로운 맥락에 강건한 대조 학습(CoroCL) 기법. 제안한 방법은 Fishyscapes, Segment-Me-If-You-Can, RoadAnomaly 데이터셋에서 기존 최고 성능 대비 약 10%의 FPR(False Positive Rate) 향상과 약 7%의 AuPRC(Area Under the Precision-Recall Curve) 향상을 달성하였다. 본 연구의 코드는 다음과 같은 주소에서 공개되어 있다: https://github.com/yyliu01/RPL.