Diffusion pour la détection de données hors distribution sur des scènes routières et au-delà

Ces dernières années, les recherches sur la détection d’images hors distribution (OoD) pour la segmentation sémantique se sont principalement concentrées sur les scènes routières — un domaine caractérisé par une diversité sémantique limitée. Dans ce travail, nous remettons en question cette contrainte et étendons le cadre de cette tâche aux images naturelles générales. À cette fin, nous introduisons : 1. le benchmark ADE-OoD, basé sur le jeu de données ADE20k et comprenant des images provenant de diverses catégories avec une forte diversité sémantique, et 2. une nouvelle approche utilisant le score matching par diffusion pour la détection OoD (DOoD), robuste à l’augmentation de la diversité sémantique. Le benchmark ADE-OoD inclut des images intérieures et extérieures, définit 150 catégories sémantiques comme étant en distribution, et contient une grande variété d’objets hors distribution. Pour DOoD, nous entraînons un modèle de diffusion à architecture MLP sur des embeddings sémantiques en distribution, et nous exploitons l’interprétation par score matching afin de calculer des scores OoD par pixel au moment de l’inférence. Sur les benchmarks classiques de détection OoD dans les scènes routières, DOoD atteint des performances équivalentes ou supérieures à l’état de l’art, sans recourir à des exemples hors distribution durant l’entraînement ni faire d’hypothèses sur le domaine des données. Sur ADE-OoD, DOoD surpasse les approches antérieures, bien qu’il reste une marge importante pour des améliorations futures.