Few-Shot Anpassung der Blickschätzung

Interindividuelle anatomische Unterschiede begrenzen die Genauigkeit von personenunabhängigen Blickschätznetzwerken. Dennoch besteht ein Bedarf, den Blickfehler weiter zu reduzieren, um Anwendungen mit höherer Qualität zu ermöglichen. Weitere Verbesserungen können durch die Personalisierung von Blicknetzwerken erzielt werden, idealerweise mit wenigen Kalibrierungsbeispielen. Überparametrisierte Neuronale Netze sind jedoch nicht geeignet, aus wenigen Beispielen zu lernen, da sie schnell überanpassen. Wir stellen uns diesen Herausforderungen und schlagen einen neuen Rahmen für Few-shot Adaptive GaZE Estimation (FAZE) vor, um personenspezifische Blicknetzwerke mit sehr wenigen (weniger oder gleich 9) Kalibrierungsbeispielen zu lernen. FAZE lernt eine rotationsbewusste latente Darstellung des Blicks durch eine Entwirrungs-Architektur von Encoder-Decoder zusammen mit einem hoch anpassungsfähigen Blickschätzer, der mittels Meta-Lernen trainiert wird. Es ist in der Lage, sich an jede neue Person anzupassen und signifikante Leistungsverbesserungen bei nur drei Beispielen zu erzielen, was einen Stand-der-Kunst-Leistung von 3,18 Grad auf GazeCapture darstellt – eine Verbesserung von 19 % im Vergleich zum bisherigen Stand der Technik. Wir stellen unseren Quellcode unter https://github.com/NVlabs/few_shot_gaze öffentlich zur Verfügung.