Adaptation sémantique auto-adaptative : Amélioration de la généralisation à l’aide d’un seul échantillon

Le manque de généralisation hors domaine constitue un défaut critique des réseaux profonds en segmentation sémantique. Les études antérieures se sont appuyées sur l'hypothèse d'un modèle statique, c’est-à-dire que, une fois le processus d'entraînement terminé, les paramètres du modèle restent fixes au moment de l'évaluation. Dans ce travail, nous remettons en question cette hypothèse en proposant une approche auto-adaptative pour la segmentation sémantique, qui ajuste le processus d'inférence en fonction de chaque échantillon d'entrée. L’auto-adaptation opère à deux niveaux. Premièrement, elle affûte les paramètres des couches de convolution en fonction de l'image d'entrée à l’aide d’une régularisation par cohérence. Deuxièmement, dans les couches de normalisation par lot (Batch Normalization), l’auto-adaptation effectue une interpolation entre la distribution d’entraînement et une distribution de référence dérivée à partir d’un unique échantillon de test. Bien que ces deux techniques soient bien connues dans la littérature, leur combinaison atteint un nouveau record d’exactitude sur les benchmarks de généralisation de données synthétiques vers réelles. Notre étude empirique suggère que l’auto-adaptation pourrait compléter la pratique établie de la régularisation du modèle pendant l’entraînement afin d’améliorer la généralisation des réseaux profonds aux données hors domaine. Le code et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/visinf/self-adaptive.