RT-BENE: 자연 환경에서 실시간 깜빡임 추정을 위한 데이터셋 및 기준 모델

최근 몇 년간 눈의 시선 추정 방법은 인간-로봇 상호작용, 시각적 주의력 추정, 가상현실 헤드셋용 포비에이티드 렌더링 등 다양한 응용 분야의 발전에 힘입어 상당한 진전을 이뤘다. 그러나 대부분의 시선 추정 방법은 사용자의 눈이 열려 있다고 가정하는 경향이 있으며, 눈이 감긴 경우 이러한 방법들은 비정상적인 시선 추정 결과를 제공한다. 본 연구에서는 이러한 가정을 극복하기 위해, 20만 장 이상의 눈 이미지에 대해 눈의 개폐 상태를 라벨링한 새로운 오픈소스 데이터셋을 제안한다. 이 데이터셋에는 눈이 감긴 이미지가 1만 장 이상 포함되어 있다. 또한, 합성곱 신경망(Convolutional Neural Networks)을 활용한 깜빡임 감지 기반의 기준 방법(Baseline methods)을 제시한다. 광범위한 실험을 통해 제안된 기준 방법이 정밀도(Precision)와 재현율(Recall) 측면에서 우수한 성능을 보임을 입증한다. 또한, 최근 제안된 RT-GENE 시선 추정 프레임워크에 본 연구에서 제안한 RT-BENE 기준 방법을 통합하여, 눈의 개폐 상태에 대한 실시간 추론이 가능하도록 구현하였다. 본 연구는 시선 추정 및 깜빡임 추정 기법 모두에 기여할 것으로 기대되며, 이 두 기법의 통합적 접근을 위한 중요한 발걸음을 내딛었다.