Pont de Couplage Partagé pour l'Apprentissage de Caractéristiques Locales Faiblement Supervisé

L'extraction de caractéristiques locales éparses est généralement considérée comme d'une importance cruciale dans les tâches visuelles typiques telles que la localisation et cartographie simultanées, le couplage d'images et la reconstruction 3D. À l'heure actuelle, elle présente encore certaines lacunes nécessitant des améliorations supplémentaires, notamment la puissance discriminante des descripteurs locaux extraits, la précision de localisation des points clés détectés et l'efficacité de l'apprentissage de caractéristiques locales. Cet article se concentre sur l'amélioration de l'apprentissage actuellement populaire de caractéristiques locales éparses avec une supervision de pose caméra. Ainsi, il propose un schéma de pont partagé couplé (Shared Coupling-bridge scheme) comprenant quatre améliorations légères mais efficaces pour l'apprentissage supervisé faiblement de caractéristiques locales (SCFeat). Ce schéma comprend principalement : i) le \emph{Réseau Principal Fusionnant les Caractéristiques - ResUNet} (F2R-Backbone) pour l'apprentissage des descripteurs locaux, ii) une normalisation de pont partagé couplé pour améliorer l'entraînement décorrélé du réseau de description et du réseau de détection, iii) un réseau de détection amélioré avec mesure d'acuité pour détecter les points clés et iv) l'erreur matricielle fondamentale en tant que facteur de récompense pour optimiser davantage l'entraînement de détection des caractéristiques. De nombreuses expériences montrent que nos améliorations SCFeat sont efficaces. Elles permettent souvent d'obtenir des performances à la pointe de la technologie dans les tâches classiques de couplage d'images et de localisation visuelle. En ce qui concerne la reconstruction 3D, elles atteignent toujours des résultats compétitifs. Pour faciliter le partage et la communication, notre code source est disponible sur https://github.com/sunjiayuanro/SCFeat.git.