Réinterroger RAFT pour un flux optique efficace

Malgré les progrès importants réalisés dans les méthodes basées sur l’apprentissage profond pour l’estimation du flux optique, l’estimation précise des déplacements importants et des motifs répétitifs demeure un défi. Ces limitations proviennent notamment des caractéristiques locales et des schémas de recherche de similarité utilisés dans ces algorithmes. En outre, certaines méthodes existantes souffrent de temps d’exécution élevé et d’une consommation excessive de mémoire graphique. Pour relever ces défis, ce papier propose une nouvelle approche fondée sur le cadre RAFT. L’approche proposée, appelée Localisation de caractéristiques par attention (AFL, Attention-based Feature Localization), intègre un mécanisme d’attention afin de traiter l’extraction de caractéristiques globales et de surmonter les motifs répétitifs. Elle introduit un opérateur permettant d’associer chaque pixel à son correspondant dans la deuxième image et de lui attribuer une valeur de flux précise. Par ailleurs, un nouvel opérateur, l’Opérateur de recherche amorphe (ALO, Amorphous Lookup Operator), est proposé pour accélérer la convergence et améliorer la capacité de RAFT à gérer des déplacements importants, en réduisant la redondance des données dans son opérateur de recherche et en élargissant l’espace de recherche pour l’extraction de similarités. La méthode proposée, Efficient RAFT (Ef-RAFT), atteint des améliorations significatives de 10 % sur le jeu de données Sintel et de 5 % sur le jeu de données KITTI par rapport à RAFT. De façon remarquable, ces gains sont obtenus avec une réduction modeste de 33 % de la vitesse d’exécution et une augmentation marginale de 13 % de la consommation mémoire. Le code source est disponible à l’adresse suivante : https://github.com/n3slami/Ef-RAFT