재귀적 CNN을 이용한 외관과 형태 정보를 활용한 3D 시선 추정

시선 행동은 사회적 신호 처리 및 인간-컴퓨터 상호작용에서 중요한 비언어적 신호입니다. 본 논문에서는 멀리 떨어진 카메라로부터 개인과 머리 자세에 독립적인 3D 시선 추정 문제를 다루며, 다중 모달 순환 합성곱 신경망(CNN)을 사용하여 이를 해결합니다. 우리는 얼굴, 눈 영역, 그리고 얼굴 랜드마크를 개별 스트림으로 결합하여 CNN을 통해 정지 이미지에서 시선을 추정하는 방법을 제안합니다. 그 다음, 시선의 동적인 특성을 활용하여 시퀀스 내 모든 프레임의 학습된 특성을 many-to-one 순환 모듈로 입력하여 마지막 프레임의 3D 시선 벡터를 예측합니다. 우리의 다중 모달 정적 솔루션은 다양한 머리 자세와 시선 방향에서 평가되며, EYEDIAP 데이터셋에서 기존 최신 기술보다 14.6%의 유의미한 향상을 달성하였으며, 시간적 모달성이 포함될 때 추가로 4% 향상되었습니다.