소수 샷 적응형 시선 추정

개인 간 해부학적 차이가 사람에 독립적인 시선 추정 네트워크의 정확도를 제한합니다. 그러나 더 높은 품질을 요구하는 애플리케이션을 가능하게 하기 위해 시선 오차를 더욱 줄일 필요성이 있습니다. 소수의 교정 샘플로 시선 네트워크를 개인화함으로써 추가적인 성능 향상을 이룰 수 있습니다. 하지만 과다 매개변수화된 신경망은 소수의 예제에서 학습하기 어려우며, 빠르게 과적합될 수 있습니다. 우리는 이러한 도전 과제들을 받아들이고, 매우 적은 (9개 이하) 교정 샘플로 개인별 시선 네트워크를 학습할 수 있는 새로운 프레임워크인 Few-shot Adaptive GaZE Estimation (FAZE)를 제안합니다. FAZE는 분리 인코더-디코더 구조와 메타 학습을 사용하여 학습된 고도로 유연한 시선 추정기를 통해 회전에 대한 인식 능력을 갖춘 시선의 잠재 표현을 학습합니다. 이 프레임워크는 단 3개의 샘플로도 새로운 사람에게 빠르게 적응하여 성능 향상을 크게 이루어낼 수 있으며, GazeCapture 데이터셋에서 3.18도의 최신 기술 수준 성능을 달성하였습니다. 이는 기존 연구 대비 19% 개선된 결과입니다. 우리의 코드는 https://github.com/NVlabs/few_shot_gaze 에 오픈 소스로 제공됩니다.