RT-GENE: 자연 환경에서의 실시간 눈동자 방향 추정

본 연구에서는 자연 환경에서의 강건한 시선 추정 문제를 다룬다. 이러한 환경에서는 카메라와 피험자 간의 거리가 크고, 머리 자세 및 눈 시선 각도의 변동이 매우 크기 때문에, 현재 최첨단 시선 추정 기법들에는 두 가지 주요한 한계가 존재한다. 첫째, 이미지 해상도가 거리에 따라 감소함에 따라 정답 시선 레이블(ground truth gaze annotation)의 확보가 어려워지고, 둘째, 시선 추정 정확도가 저하된다. 이를 해결하기 위해 우리는 자연 환경에서 다양한 시선과 머리 자세를 촬영한 새로운 데이터셋을 구축하였다. 정답 시선 레이블 문제를 해결하기 위해, 머리 자세는 모션 캡처 시스템을 이용해 측정하고, 눈 시선은 모바일 눈 추적 안경을 통해 측정하였다. 또한, 안경이 가려진 영역에 대해 의미론적 이미지 보정(semantic image inpainting) 기법을 적용함으로써, 훈련 이미지와 테스트 이미지 간의 격차를 줄였으며, 안경의 시각적 방해 요소를 제거하였다. 더불어, 새로운 데이터셋의 다양한 이미지에 대응할 수 있도록 능력이 향상된 외형 기반의 심층 컨볼루션 신경망을 활용한 실시간 알고리즘을 제안한다. 제안한 네트워크 아키텍처는 본 연구에서 수집한 데이터셋을 포함한 여러 가지 다양한 눈 시선 데이터셋에서 실험을 수행하였으며, 데이터셋 간 교차 평가(cross-dataset evaluation)도 진행하였다. 실험 결과, 모든 평가 환경에서 최신 기술 수준의 추정 정확도를 달성하였으며, 저해상도 이미지에서도 우수한 성능을 발휘함을 입증하였다.