실패에서 배우기: 편향된 분류기로부터 편향되지 않은 분류기 학습

신경망은 종종 데이터셋에 존재하는 우연한 상관관계에 지나치게 의존하여 예측을 수행하는 경우가 많아, 이로 인해 모델이 편향될 수 있습니다. 과거 연구에서는 이러한 문제를 해결하기 위해 우연히 상관된 속성에 대한 명시적 라벨링이나 특정 편향 유형을 가정하는 방법을 사용하였습니다. 그러나 우리는 대신 더 저렴하면서도 일반적인 형태의 인간 지식을 활용하여 다양한 유형의 편향에 널리 적용할 수 있는 방법을 제안합니다. 우리는 먼저 신경망이 원하는 지식보다 "더 쉽게" 학습할 수 있는 우연한 상관관계에만 의존한다는 점을 관찰하였습니다. 이러한 의존성이 학습 초기 단계에서 가장 두드러지게 나타납니다. 이 관찰 결과를 바탕으로, 우리는 두 개의 신경망을 동시에 학습시키는 실패 기반 편향 제거 방안을 제안합니다. 우리의 주요 아이디어는 두 가지입니다: (a) 첫 번째 네트워크를 고의로 편향되도록 학습시키기 위해 그 "편견"을 반복적으로 강화하고, (b) 두 번째 네트워크의 학습을 첫 번째 네트워크(a)의 편견과 반대되는 샘플에 초점을 맞추어 편향을 제거합니다. 광범위한 실험 결과, 우리의 방법이 합성 데이터셋과 실제 세계 데이터셋 모두에서 다양한 유형의 편향에 대해 신경망의 학습 성능을 크게 개선함을 보여주었습니다. 놀랍게도, 우리의 프레임워크는 때때로 우연히 상관된 속성에 대한 명시적 감독이 필요한 편향 제거 방법들보다 더 우수한 성능을 보이는 경우도 있었습니다.