Gaze360: Physikalisch unbeschränkte Blickschätzung in freier Wildbahn

Die Erfassung von Blickrichtungen ist ein informativer sozialer Hinweis. In dieser Arbeit präsentieren wir Gaze360, einen großskaligen Datensatz und eine Methode für robuste 3D-Blickschätzung in unbeschränkten Bildern. Unser Datensatz umfasst 238 Probanden in Innen- und Außenräumen mit annotierten 3D-Blickrichtungen über eine breite Spanne von Kopfpositionen und Entfernungen. Er ist der größte öffentlich verfügbare Datensatz dieser Art sowohl hinsichtlich der Anzahl der Probanden als auch der Vielfalt, was durch eine einfache und effiziente Datensammlungsmethode ermöglicht wurde. Das vorgeschlagene 3D-Blickmodell erweitert bestehende Ansätze um zeitliche Informationen und ermöglicht die direkte Ausgabe einer Schätzung der Blickunsicherheit. Wir zeigen die Vorteile unseres Modells anhand einer Ablationsstudie und demonstrieren seine Generalisierungsfähigkeit durch eine Kreuz-Datensatz-Evaluation gegenüber anderen aktuellen Benchmark-Datensätzen für Blickverfolgung. Zudem schlagen wir einen einfachen selbstüberwachten Ansatz zur Verbesserung der Domänenanpassung zwischen Datensätzen vor. Schließlich zeigen wir eine Anwendung unseres Modells zur Schätzung der Aufmerksamkeit von Kunden in einer Supermarktsituation. Unser Datensatz und die Modelle sind unter http://gaze360.csail.mit.edu verfügbar.