17일 전

노이즈 있는 레이블 학습을 위한 메타 레이블 보정

Guoqing Zheng, Ahmed Hassan Awadallah, Susan Dumais
노이즈 있는 레이블 학습을 위한 메타 레이블 보정
초록

약한 또는 노이즈가 있는 감독 정보를 활용하여 효과적인 머신러닝 모델을 구축하는 것은 오랫동안 중요한 연구 과제였다. 최근 딥러닝 모델을 훈련하기 위한 대규모 데이터셋에 대한 수요가 증가함에 따라 이 문제의 중요성은 더욱 커졌다. 약한 또는 노이즈가 있는 감독 정보는 전문가가 아닌 사람들의 레이블링, 히ュ리스틱 기반 자동 레이블링, 사용자 상호작용 신호 등 다양한 출처에서 발생할 수 있다. 노이즈 있는 레이블을 활용하는 데 관한 기존 연구는 매우 풍부하다. 특히 최근 연구들은 메타학습 기반의 인스턴스 재가중(Instance Re-weighting) 기법을 통해 놀라운 성능 향상을 보였다. 이 기법은 메타학습 프레임워크를 활용하여 노이즈 있는 레이블에 대해 각각의 인스턴스에 적절한 가중치를 부여하는 방식이다. 본 논문에서는 이러한 접근을 확장하여 메타학습 프레임워크 내에서 레이블 보정(Label Correction) 문제로 문제를 재정의한다. 우리는 레이블 보정 과정을 메타 프로세스로 간주하고, 노이즈 있는 레이블을 학습하는 데 사용할 수 있는 새로운 메타학습 기반 프레임워크인 MLC(Meta Label Correction)를 제안한다. 구체적으로, 메타모델로 레이블 보정 네트워크를 도입하여 노이즈 있는 레이블에 대해 보정된 레이블을 생성하고, 주 모델은 이러한 보정된 레이블을 활용하여 학습한다. 두 모델은 이중 최적화 문제(비레벨 최적화 문제)를 함께 해결함으로써 공동으로 학습된다. 우리는 이미지 인식 및 텍스트 분류 작업에서 다양한 노이즈 수준과 유형에 대해 광범위한 실험을 수행하였다. 재가중 기법과 보정 기법을 비교하여, 보정 프레임워크가 재가중 기법의 일부 한계를 극복함을 보였다. 또한 제안한 MLC 방법이 다양한 설정에서 기존 방법에 비해 큰 성능 향상을 달성함을 입증하였다.

노이즈 있는 레이블 학습을 위한 메타 레이블 보정 | 최신 연구 논문 | HyperAI초신경