Adaptation non supervisée de scènes avec régularisation mémoire in vivo

Nous considérons le problème d’adaptation de scène non supervisée, qui consiste à apprendre à partir de données étiquetées provenant d’un domaine source et de données non étiquetées provenant d’un domaine cible. Les méthodes existantes se concentrent principalement sur la réduction de l’écart inter-domaines entre le domaine source et le domaine cible. Toutefois, les connaissances intra-domaines et l’incertitude intrinsèque apprises par le réseau restent sous-exploitées. Dans cet article, nous proposons une méthode originale, appelée régularisation par mémoire in vivo, visant à exploiter les connaissances intra-domaines et à régulariser l’entraînement du modèle. Plus précisément, nous utilisons le modèle de segmentation lui-même comme module mémoire, et nous réduisons la disparité entre deux classificateurs — le classificateur principal et le classificateur auxiliaire — afin de diminuer l’incohérence des prédictions. Sans introduire de paramètres supplémentaires, la méthode proposée est complémentaire aux approches d’adaptation de domaine les plus courantes et permet généralement d’améliorer les performances de ces dernières. Bien que simple, nous validons l’efficacité de la régularisation par mémoire sur deux benchmarks de synthèse vers réel : GTA5 → Cityscapes et SYNTHIA → Cityscapes, obtenant respectivement des améliorations de +11,1 % et +11,3 % en mIoU par rapport au modèle de base. Par ailleurs, une amélioration similaire de +12,0 % en mIoU est observée sur un benchmark inter-villes : Cityscapes → Oxford RobotCar.