온라인 학습에서 단일 얼굴 표정 인식 신경망을 기반으로 한 정서 및 참여도 분류

본 논문에서는 전자학습 환경에서 학생들의 행동을 분석한다. 제안된 새로운 파이프라인은 영상 얼굴 처리 기반으로 구성되어 있다. 먼저, 얼굴 탐지, 추적 및 클러스터링 기법을 활용하여 각 학생의 얼굴 시퀀스를 추출한다. 이후, 프레임별로 감정 특징을 추출하기 위해 단일 효율적인 신경망을 사용한다. 이 신경망은 AffectNet 데이터셋의 정적 이미지를 활용하여 얼굴 인식 작업으로 사전 학습한 후, 특별히 개발된 강건한 최적화 기법을 통해 표정 인식 작업에 미세 조정되었다. 실험 결과, 얻어진 얼굴 특징은 학생들의 참여 수준(비참여에서 고도로 참여하는 상태까지)을 실시간으로 동시에 예측하는 데 사용될 수 있으며, 개별적인 감정(기쁨, 슬픔 등)과 집단 수준의 정서 상태(긍정적, 중립적, 부정적)를 예측하는 데에도 효과적임을 입증하였다. 이 모델은 학생 개인의 모바일 기기에서도 실시간 영상 처리가 가능하며, 학생의 얼굴 영상을 원격 서버나 교사의 PC로 전송할 필요 없이 사용할 수 있다. 또한, 모든 학생의 다양한 감정과 참여도를 포함하는 짧은 영상 클립을 저장함으로써 수업 요약을 생성할 수 있음을 보여주었다. EmotiW(자연계 감정 인식) 챌린지 데이터셋을 활용한 실험 연구 결과, 제안된 네트워크가 기존의 단일 모델들보다 상당히 뛰어난 성능을 보였다.