OccamNets: 더 간단한 가설을 선호함으로써 데이터셋 편향 완화하기

데이터셋 편향과 사소한 상관관계는 딥 신경망의 일반화 성능에 상당한 영향을 미칠 수 있다. 이 문제를 해결하기 위해 이전 연구들은 희귀 패턴에 초점을 맞춘 대체 손실 함수 또는 샘플링 전략을 사용해 왔다. 본 연구에서는 새로운 접근 방식을 제안한다. 즉, 네트워크 아키텍처를 수정하여 데이터셋 편향에 강건한 인도크티브 편향(inductive bias)을 도입하는 것이다. 구체적으로, 간단한 해를 선호하도록 설계된 OccamNets를 제안한다. OccamNets는 두 가지 인도크티브 편향을 갖는다. 첫째, 개별 예시에 대해 필요한 최소한의 네트워크 깊이만을 사용하도록 편향된다. 둘째, 예측에 사용하는 이미지 위치의 수를 최소화하도록 편향된다. OccamNets는 간단한 가설에 편향되지만, 필요할 경우 더 복잡한 가설도 학습할 수 있다. 실험 결과, OccamNets는 이러한 인도크티브 편향을 반영하지 않은 아키텍처를 사용한 최신 기법들과 비교해도 우수하거나 동등한 성능을 보였다. 더불어, 최신의 편향 제거 기법과 OccamNets를 결합할 경우 성능이 더욱 향상됨을 실험을 통해 입증하였다.