Une approche bayésienne pour la robustesse aux données hors distribution en classification d'images

Un problème important et non résolu en vision par ordinateur consiste à garantir la robustesse des algorithmes face aux changements de domaine d’images. Nous abordons ce problème dans un cadre où nous disposons d’images provenant du domaine cible, mais sans annotations. Inspirés par les défis posés par le benchmark OOD-CV, où apparaissent des perturbations réalistes hors domaine (Out-of-Domain, OOD) ainsi que des occlusions, nous proposons une nouvelle approche bayésienne pour assurer la robustesse aux données hors domaine dans la classification d’objets. Notre travail s’appuie sur les Réseaux Neuronaux Composants (CompNets), déjà démontrés robustes face aux occlusions, mais dont la performance se dégrade fortement lorsqu’ils sont testés sur des données hors domaine. Nous exploitons le fait que les CompNets intègrent une tête générative définie sur des vecteurs de caractéristiques représentés par des noyaux von Mises-Fisher (vMF), qui correspondent approximativement aux parties d’objets et peuvent être appris de manière non supervisée. Nous observons que certains noyaux vMF sont similaires entre différents domaines, tandis que d’autres ne le sont pas. Cette observation nous permet d’apprendre un dictionnaire de transition des noyaux vMF, situé entre les domaines source et cible, puis d’entraîner le modèle génératif sur ce dictionnaire à l’aide des annotations du domaine source, suivi d’un raffinement itératif. Cette méthode, baptisée Transition Générative Non Supervisée (Unsupervised Generative Transition, UGT), se distingue par de très bons résultats dans des scénarios OOD, même en présence d’occlusions. L’évaluation de UGT est menée sur divers benchmarks OOD, notamment le jeu de données OOD-CV, plusieurs jeux de données populaires (par exemple ImageNet-C [9]), des corruption artificielles d’images (y compris l’ajout d’obstacles occlusifs) ainsi que des transferts de domaine de synthétique vers réel. Dans tous ces scénarios, UGT surpassait significativement les méthodes de pointe (jusqu’à +10 % de précision top-1 sur le jeu de données OOD-CV avec occlusions).