다양한 데이터셋에서 일관되지 않은 레이블링 기준을 가진 얼굴 표정 인식을 위한 공동 훈련

얼굴 표정 인식(Facial Expression Recognition, FER)의 성능을 향상시키는 한 가지 가능성은 훈련 데이터셋의 샘플 수를 늘림으로써 데이터셋을 증강하는 것이다. 다양한 FER 데이터셋을 통합하면 딥러닝 모델이 더 구분력 있는 특징을 추출할 수 있다. 그러나 레이블링 기준의 불일치와 인간의 주관적 편향이 포함된 레이블링된 FER 데이터셋은 혼합된 데이터셋을 처리할 때 딥러닝 모델의 인식 정확도를 크게 저해할 수 있다. 여러 데이터셋을 효과적으로 공동 훈련하는 것은 여전히 도전적인 과제이다. 본 연구에서는 다수의 FER 데이터셋을 활용하여 FER 모델을 공동 훈련하는 방법을 제안한다. 제안하는 방법은 다음과 같은 네 단계로 구성된다: (1) 보조 데이터셋에서 하위 집합을 선택하고, (2) 타겟 데이터셋에 대해 의사 연속 레이블(pseudo-continuous labels)을 생성하며, (3) 타겟 데이터셋의 레이블링 기준에 따라 연속 레이블 매핑과 이산 레이블 재할당(discrete label relabeling)을 통해 각 데이터셋의 레이블을 정제하고, (4) 다중 작업 학습(multi-task learning)을 이용하여 모델을 공동 훈련한다. 본 연구에서는 대표적인 실외 환경(FER) 벤치마크 데이터베이스인 RAF-DB와 CAER-S에서 공동 훈련 실험을 수행하였으며, 보조 데이터셋으로 AffectNet 데이터셋을 활용하였다. 실험 결과, 제안한 방법은 다양한 FER 데이터셋을 단일 훈련 세트로 직접 병합하는 기존 방식보다 우수한 성능을 보였으며, RAF-DB와 CAER-S에서 각각 92.24%, 94.57%의 정확도를 달성하여 최신 기술 수준(SOTA)의 성능을 확보하였다.