13일 전

테스트 시 적응을 위한 엔트로피는 충분하지 않다: 분리된 요인의 관점에서

Jonghyun Lee, Dahuin Jung, Saehyung Lee, Junsung Park, Juhyeon Shin, Uiwon Hwang, Sungroh Yoon
테스트 시 적응을 위한 엔트로피는 충분하지 않다: 분리된 요인의 관점에서
초록

테스트 시 적응(Test-time adaptation, TTA)은 사전 학습된 딥 신경망을 unseen 테스트 데이터에 맞게 미세 조정하는 기법이다. TTA의 주요 과제는 온라인 업데이트 과정에서 전체 테스트 데이터셋에 대한 접근이 제한적이며, 이로 인해 오류가 누적되는 문제이다. 이를 완화하기 위해 기존 TTA 방법들은 모델 출력의 엔트로피를 신뢰도 지표로 활용하여, 오류를 유발할 가능성이 낮은 샘플을 식별하려는 시도를 해왔다. 그러나 실험적 연구를 통해 우리는 편향된 상황에서 엔트로피가 TTA의 신뢰도 지표로서 신뢰할 수 없다는 점을 관찰하였으며, 이는 데이터의 잠재적 분리된 요인(잠재적 분리 인자, latent disentangled factors)이 예측에 미치는 영향을 간과했기 때문임을 이론적으로 규명하였다. 이러한 발견을 바탕으로, 우리는 새로운 신뢰도 지표인 가상 레이블 확률 차이(Pseudo-Label Probability Difference, PLPD)를 제안하는 새로운 TTA 방법 DeYO(DESTROY YOUR OBJECT)를 소개한다. PLPD는 객체의 형태(shape)가 예측에 미치는 영향을, 객체 파괴 변환(object-destructive transformation)을 적용前后의 예측 차이를 측정함으로써 정량화한다. DeYO는 샘플 선택과 샘플 가중치 부여를 수행하며, 엔트로피와 PLPD를 동시에 활용한다. 강건한 적응을 위해 DeYO는 예측 과정에서 형태 정보가 지배적인 샘플을 우선적으로 선택한다. 광범위한 실험을 통해 DeYO가 다양한 상황—편향된 상황과 와일드(wild) 상황 포함—에서 기준 방법들에 비해 일관되게 우수한 성능을 보임을 입증하였다. 프로젝트 페이지는 공개되어 있으며, https://whitesnowdrop.github.io/DeYO/ 에서 확인할 수 있다.

테스트 시 적응을 위한 엔트로피는 충분하지 않다: 분리된 요인의 관점에서 | 최신 연구 논문 | HyperAI초신경