Les caractéristiques globales sont tout ce dont vous avez besoin pour la recherche d’images et le reranking

Les systèmes classiques de recherche d’images reposent sur un paradigme en deux étapes, utilisant des caractéristiques globales pour la récupération initiale et des caractéristiques locales pour le reranking. Toutefois, l’approche est souvent limitée en termes d’évolutivité en raison des coûts importants en stockage et en calcul associés au matching des caractéristiques locales lors de la phase de reranking. Dans cet article, nous proposons SuperGlobal, une nouvelle approche qui utilise exclusivement des caractéristiques globales pour les deux étapes, améliorant ainsi l’efficacité sans compromettre la précision. SuperGlobal introduit plusieurs améliorations clés au système de récupération, en se concentrant particulièrement sur les processus d’extraction des caractéristiques globales et de reranking. Concernant l’extraction, nous identifions une performance sous-optimale lorsqu’on combine la fonction de perte ArcFace largement utilisée avec le pooling Generalized Mean (GeM), et proposons plusieurs nouveaux modules pour améliorer le pooling GeM. En phase de reranking, nous introduisons une méthode originale pour mettre à jour les caractéristiques globales de la requête et des images hautement classées, en ne tenant compte que de la révision des caractéristiques à partir d’un petit ensemble d’images, ce qui rend la méthode très efficace en termes de calcul et de mémoire. Nos expérimentations démontrent des améliorations substantielles par rapport aux états de l’art sur des benchmarks standards. Notamment, sur le jeu de données Revisited Oxford+1M Hard, nos résultats en une seule étape progressent de 7,1 %, tandis que notre gain en deux étapes atteint 3,7 % avec un accélération impressionnante de 64 865 fois. Notre système en deux étapes dépasse l’état de l’art actuel en une seule étape de 16,3 %, offrant ainsi une alternative évolutives et précise pour les systèmes de recherche d’images performants, avec un surcoût temporel minimal. Code : https://github.com/ShihaoShao-GH/SuperGlobal.