초록
크라우드소싱은 낮은 비용으로 대량의 레이블링 데이터를 확보할 수 있는 실용적인 방법을 제공한다. 그러나 평가자들의 레이블링 품질은 크게 차이가 나며, 이는 크라우드소싱된 레이블로부터 고품질 모델을 학습하는 데 새로운 도전 과제를 제기한다. 본 연구에서는(annotation noise)을 일반적 노이즈(common noise)와 개별적 노이즈(individual noise)로 분해하는 새로운 관점을 제안하며, 각 인스턴스-평가자 쌍에 대해 인스턴스의 어려움과 평가자의 전문성에 기반하여 혼란의 원인을 구분한다. 이를 실현하기 위해, 평가자 간에 공유되는 혼란을 포착하는 공유 노이즈 적응 레이어와 각 평가자 고유의 혼란을 반영하는 개별 노이즈 적응 레이어를 갖춘 엔드투엔드 학습 솔루션을 제안한다. 각 레이블링에서 노이즈의 원인을 식별하기 위해, 인스턴스와 평가자에 따라 두 가지 노이즈 적응 레이어 중 적절한 것을 선택하는 보조 네트워크(auxiliary network)를 활용한다. 합성 데이터 및 실제 세계 기준 데이터셋에서 실시한 광범위한 실험을 통해 제안된 일반적 노이즈 적응 솔루션의 효과성을 입증하였다.