Augmentation du côté sombre : génération d'exemples nocturnes diversifiés pour l'apprentissage métrique

Les méthodes de récupération d’images basées sur des descripteurs CNN reposent sur l’apprentissage métrique à partir d’un grand nombre d’exemples variés de paires d’images positives et négatives. Les domaines, tels que les images de nuit, caractérisés par une disponibilité limitée et une faible variabilité des données d’entraînement, souffrent d’une performance de récupération médiocre, même lorsque les méthodes s’avèrent performantes sur les benchmarks standards. Nous proposons d’entraîner un générateur d’images synthétiques basé sur un GAN, capable de transformer des exemples d’images diurnes disponibles en images nocturnes. Ce générateur est utilisé dans l’apprentissage métrique comme une forme d’augmentation, fournissant ainsi des données d’entraînement au domaine rare. Différents types de générateurs sont évalués et analysés. Nous contribuons par une nouvelle architecture GAN légère qui impose une cohérence entre l’image d’origine et l’image traduite grâce à une contrainte de cohérence des contours. L’architecture proposée permet également l’entraînement simultané d’un détecteur de contours fonctionnant aussi bien sur les images diurnes que nocturnes. Pour renforcer davantage la variabilité des exemples d’entraînement et maximiser la généralisation du modèle entraîné, nous proposons une nouvelle méthode d’extraction de points d’ancrage diversifiés. La méthode proposée améliore les résultats de l’état de l’art sur un benchmark standard de récupération jour/nuit sur Tokyo 24/7, tout en préservant les performances sur les jeux de données Oxford et Paris. Ces améliorations sont obtenues sans nécessiter d’apprentissage à partir de paires d’images correspondantes jour/nuit. Le code source est disponible à l’adresse suivante : https://github.com/mohwald/gandtr.