Neural-Guided RANSAC : Apprentissage des zones d'échantillonnage pour les hypothèses de modèle

Nous présentons Neural-Guided RANSAC (NG-RANSAC), une extension de l'algorithme classique RANSAC utilisé en optimisation robuste. NG-RANSAC utilise des informations a priori pour améliorer la recherche d'hypothèses de modèle, augmentant ainsi les chances de trouver des ensembles minimaux exempts d'outliers. Les travaux précédents utilisaient des informations heuristiques, telles que les distances de descripteurs conçus manuellement, pour guider la recherche d'hypothèses. En revanche, nous apprenons la recherche d'hypothèses de manière rigoureuse, ce qui nous permet d'optimiser une perte de tâche arbitraire pendant l'entraînement, conduisant à de grandes améliorations sur des tâches classiques en vision par ordinateur. Nous proposons deux extensions supplémentaires à NG-RANSAC. Premièrement, l'utilisation du nombre d'inliers lui-même comme signal d'entraînement nous permet d'entraîner la guidance neuronale de manière autonome (self-supervised). Deuxièmement, nous combinons la guidance neuronale avec un RANSAC différentiable pour construire des réseaux neuronaux qui se concentrent sur certaines parties des données d'entrée et produisent des prédictions de sortie aussi précises que possible. Nous évaluons NG-RANSAC sur une large gamme de tâches en vision par ordinateur, notamment l'estimation de la géométrie épipolaire, l'estimation de la ligne d'horizon et la rélocalisation caméra. Nous obtenons des résultats supérieurs ou compétitifs par rapport aux estimateurs robustes les plus avancés, y compris ceux très récents et appris.