노이즈에 강한 학습을 위한 IMAE: 평균 절대 오차는 예제를 동등하게 취급하지 않으며 그래디언트 크기의 분산이 중요하다

본 연구에서는 비정상적인 훈련 데이터에 대해 강건한 딥 러닝을 로짓에 대한 그래디언트 크기와 같은 경험적 손실 함수 내의 예제 가중치 관점에서 탐구합니다. 이 관점은 아직 충분히 연구되지 않았습니다. 그 결과, 우리는 두 가지 주요 발견을 하였습니다: (1) 평균 절대 오차(MAE)는 모든 예제를 동등하게 취급하지 않습니다. 이론적으로 노이즈에 강건하다고 증명된 MAE에 대한 새로운 관찰과 통찰력 있는 분석을 제시합니다. 첫째, 실제 사용에서 발생하는 과소적합 문제를 밝혔습니다. 둘째, MAE의 노이즈 강건성이 훈련 샘플을 동등하게 처리하는 것이 아니라 불확실한 예제에 중점을 두는 것에서 비롯된다는 것을 분석하였습니다. (2) 그래디언트 크기의 분산이 중요합니다. 우리는 MAE의 적합 능력을 향상시키면서 그 노이즈 강건성을 유지할 수 있는 효과적이고 간단한 해결책을 제안합니다. MAE의 전체 가중치 방식, 즉 어떤 예제가 더 높은 가중치를 받는지를 변경하지 않고, 단지 그 가중치 분산을 비선형적으로 조정하여 두 예제 간의 영향력 비율을 조절하였습니다. 우리의 해결책은 개선된 MAE(IMAE)라고 명명되었습니다. 우리는 깨끗한 라벨, 합성 라벨 노이즈, 그리고 실제 세계의 알려지지 않은 노이즈 하에서 이미지 분류 실험을 통해 IMAE의 효과성을 입증하였습니다.