Agent-gesteuertes Netzbild zur Blickschätzung durch die Erkundung der Zwei-Auge-Asymmetrie

Die Schätzung des Blickrichtungsverhaltens ist eine zentrale Aufgabe zur Verständnis menschlicher visueller Aufmerksamkeit. Trotz der durch jüngste algorithmische Fortschritte erzielten Leistungssteigerungen bleibt die Aufgabe herausfordernd, bedingt durch die zweiohrige Erscheinungsasymmetrie, die durch Veränderungen der Kopfhaltung und nicht gleichmäßige Beleuchtung entsteht. In diesem Artikel stellen wir eine neuartige Architektur, das Agent-guided Gaze Estimation Network (AGE-Net), vor, um zweiohrige Merkmale vollständig und effizient zu nutzen. Durch die Exploration der Erscheinungsasymmetrie und der daraus resultierenden Asymmetrie im Merkmalsraum entwickeln wir einen Hauptzweig sowie zwei Agenten-Regressionsaufgaben. Der Hauptzweig extrahiert relevante Merkmale der linken und rechten Augen aus niedrigstufigen Semantiken. Gleichzeitig extrahieren die Agenten-Regressionsaufgaben asymmetrische Merkmale der linken und rechten Augen aus hochstufigen Semantiken, um den Hauptzweig dabei zu unterstützen, einen tieferen Einblick in den Augenmerkmalsraum zu gewinnen. Experimente zeigen, dass unsere Methode sowohl auf den MPIIGaze- als auch auf den EyeDiap-Datenbanken die derzeit beste Leistung bei der Blickrichtungsschätzung erzielt.