Exploration de la fovéation et des saccades pour une localisation faiblement supervisée améliorée

Les réseaux neuronaux profonds sont devenus le choix par défaut pour l’extraction de caractéristiques, largement utilisés dans les tâches de vision par ordinateur. La méthode actuelle consiste à traiter chaque entrée avec une résolution uniforme en une seule étape, en produisant toutes les prédictions simultanément. Toutefois, la vision humaine est un processus « actif » qui non seulement passe activement d’un point de focus à un autre au sein du champ visuel, mais applique également une attention spatialement variable centrée sur ces points de focus. Pour combler cet écart, nous proposons d’intégrer des mécanismes bio-plausibles de fovéation et de saccades afin de concevoir un cadre actif de localisation d’objets. Alors que la fovéation permet de traiter différentes régions de l’entrée avec des degrés variables de détail, les saccades permettent de modifier le point de focus de ces régions fovéalisées. Nos expériences montrent que ces mécanismes améliorent la qualité des boîtes englobantes prédites en capturant toutes les parties essentielles de l’objet tout en minimisant le bruit de fond inutile. En outre, ils renforcent la robustesse de la méthode en permettant la détection de plusieurs objets, même lorsque le modèle n’a été entraîné qu’avec des données contenant un seul objet par image. Enfin, nous explorons l’alignement de notre approche avec la perception humaine à l’aide de l’illusion optique célèbre du « lapin-duck ». Le code est disponible à l’adresse suivante : https://github.com/TimurIbrayev/FALcon.