깊이 학습과 수작업 특징을 활용한 얼굴 표정 인식의 로컬 학습

우리는 컨볼루션 신경망(CNN)에서 자동으로 학습된 특징과 시각적 단어의 가방(BOVW) 모델을 통해 계산된 수작업 특징을 결합하여 얼굴 표정 인식 분야에서 최고 수준의 결과를 달성하기 위한 접근법을 제시합니다. 자동 특징을 얻기 위해 여러 CNN 아키텍처, 사전 학습 모델 및 훈련 절차(예: Dense-Sparse-Dense)를 실험하였습니다. 두 가지 유형의 특징을 융합한 후, 각 테스트 이미지의 클래스 레이블을 예측하기 위해 로컬 학습 프레임워크를 사용합니다. 로컬 학습 프레임워크는 세 단계로 구성됩니다. 첫째, k-최근접 이웃(k-nearest neighbors) 모델을 적용하여 입력 테스트 이미지에 대해 가장 가까운 훈련 샘플들을 선택합니다. 둘째, 선택된 훈련 샘플들에서 일대다(one-versus-all) 서포트 벡터 머신(SVM) 분류기를 훈련시킵니다. 셋째, SVM 분류기는 오직 그 분류기가 훈련된 테스트 이미지에 대해서만 클래스 레이블을 예측합니다. 이전 연구에서는 수작업 특징과 로컬 학습을 결합하였지만, 최선의 지식으로는 깊은 특징과 로컬 학습을 결합한 것은 이번이 처음입니다.2013년 얼굴 표정 인식(Facial Expression Recognition, FER) 챌린지 데이터셋, FER+ 데이터셋 및 AffectNet 데이터셋에서 수행한 실험들은 우리의 접근법이 최고 수준의 결과를 달성함을 입증합니다. FER 2013에서는 75.42%, FER+에서는 87.76%, AffectNet 8-클래스 분류에서는 59.58%, AffectNet 7-클래스 분류에서는 63.31%의 최고 정확도를 기록하며 모든 데이터셋에서 기존 최고 수준 방법론보다 1% 이상 우수한 성능을 보였습니다.