Gaze360: 와일드 환경에서 물리적으로 제약되지 않은 시선 추정

사람이 어디를 바라보고 있는지 파악하는 것은 유용한 사회적 신호이다. 본 연구에서는 제약 없는 이미지 환경에서 강건한 3차원(gaze) 추정을 위한 대규모 'Gaze360' 데이터셋과 방법론을 제안한다. 본 데이터셋은 실내 및 실외 환경에서 238명의 참가자로 구성되며, 다양한 머리 자세와 거리 조건에서 레이블링된 3차원 gaze 데이터를 포함하고 있다. 간단하고 효율적인 수집 방법 덕분에, 참가자 수와 다양성 면에서 가장 큰 공개 가능한 데이터셋으로서의 위치를 차지하고 있다. 제안하는 3차원 gaze 모델은 기존 모델을 확장하여 시간 정보를 포함하고, 직접 gaze 불확실성의 추정값을 출력할 수 있도록 개선하였다. 우리는 추론 실험(ablation study)을 통해 모델의 장점을 입증하였으며, 최근의 다른 gaze 벤치마크 데이터셋과의 교차 데이터셋 평가를 통해 모델의 일반화 성능을 확인하였다. 또한, 데이터셋 간 도메인 적응을 개선하기 위한 간단한 자기지도 학습(self-supervised) 접근법을 제안한다. 마지막으로, 슈퍼마켓 환경에서 고객의 주의 집중도를 추정하는 실제 응용 사례를 제시한다. 본 연구의 데이터셋과 모델은 http://gaze360.csail.mit.edu 에서 공개되어 있다.