Untersuchung der Foveation und Sakkaden zur Verbesserung der schwach überwachten Lokalisierung

Tiefere neuronale Netze sind zur Standardwahl als Merkmalsextraktions-Engines geworden und finden ubiquitär Anwendung bei Aufgaben des maschinellen Sehens. Derzeitige Ansätze verarbeiten jedes Eingabebild in einem einzigen Schritt mit einheitlicher Auflösung und stellen sämtliche Vorhersagen gleichzeitig. Doch das menschliche Sehen ist ein „aktiver“ Prozess, der nicht nur aktiv von einem Fokuspunkt zum anderen innerhalb des Gesichtsfeldes wechselt, sondern auch räumlich variierende Aufmerksamkeit um solche Fokuspunkte herum anwendet. Um diese Lücke zu schließen, schlagen wir vor, biologisch plausiblen Mechanismen der Foveation und Sakkaden in ein aktives Objektlokalisierungssystem einzubinden. Während die Foveation es ermöglicht, verschiedene Bereiche der Eingabe mit unterschiedlichem Detailgrad zu verarbeiten, erlauben die Sakkaden den Wechsel des Fokuspunkts innerhalb dieser foveierten Bereiche. Unsere Experimente zeigen, dass diese Mechanismen die Qualität der vorhergesagten Bounding Boxes verbessern, indem sie alle wesentlichen Objektteile erfassen und gleichzeitig überflüssigen Hintergrundrauschen minimieren. Zudem verleihen sie dem Ansatz Robustheit, da er mehrere Objekte erkennen kann, obwohl er nur mit Daten trainiert wurde, die jeweils nur ein einzelnes Objekt pro Bild enthalten. Schließlich untersuchen wir die Anpassung unseres Ansatzes an die menschliche Wahrnehmung mithilfe des interessanten „Ente-Hase“-Optikillusion. Der Quellcode ist unter: https://github.com/TimurIbrayev/FALcon verfügbar.