Debiasing Subnetworks 훈련을 위한 대조적 가중치 프루닝

신경망은 종종 잘못된 통계적 증거를 제공하며 일반화되지 않는 강한 편향 특성에 영향을 받습니다. 이는 흥미로운 질문을 제기합니다: "심각하게 편향된 네트워크에서 최적의 비편향 기능 하위네트워크가 존재할까? 그렇다면, 그러한 하위네트워크를 어떻게 추출할 수 있을까?" 비편향 하위네트워크의 존재에 대한 경험적 증거가 축적되었지만, 이러한 관찰은 주로 실제 비편향 샘플(ground-truth unbiased samples)의 지도에 기반하고 있습니다. 따라서, 실제로 편향된 학습 데이터셋을 사용하여 최적의 하위네트워크를 발견하는 방법은 아직 연구되지 않았습니다.이 문제를 해결하기 위해, 먼저 우리는 강한 왜곡된 상관관계가 있는 경우 비편향 하위네트워크 탐색에서 기존 알고리즘의 잠재적인 한계를 경고하는 이론적 통찰력을 제시합니다. 그 다음으로, 우리는 구조 학습에서 편향 충돌 샘플(bias-conflicting samples)의 중요성을 더욱 명확히 합니다. 이러한 관찰에 동기를 부여받아, 우리는 고가의 그룹 주석 없이 비편향 하위네트워크를 탐색하는 Debiased Contrastive Weight Pruning (DCWP) 알고리즘을 제안합니다. 실험 결과는 우리의 접근법이 매개변수 수를 크게 줄임에도 불구하고 최신 비편향화 방법론보다 현저히 우수함을 보여줍니다.