Forte : Détection des valeurs aberrantes par estimation de la typicité de représentation

Les modèles génératifs sont désormais capables de produire des données synthétiques photoréalistes, presque indiscernables des données réelles utilisées pour leur entraînement. Il s’agit d’une évolution significative par rapport aux modèles antérieurs, capables de générer des fac-similés raisonnablement proches des données d’entraînement, mais identifiables comme telles par évaluation visuelle humaine. Des travaux récents sur la détection de données hors distribution (OOD) ont remis en question l’optimalité des scores de vraisemblance des modèles génératifs comme détecteurs OOD, en raison de problèmes liés à la mauvaise estimation de la vraisemblance, à l’entropie inhérente au processus génératif et à la notion de typicité. Nous supposons que les détecteurs OOD génératifs ont également échoué parce que leurs modèles se concentraient sur les pixels plutôt que sur le contenu sémantique des données, ce qui entraîne des échecs dans les cas proches de OOD où les pixels peuvent être similaires mais où le contenu informationnel diffère fortement. Nous proposons l’hypothèse que l’estimation des ensembles typiques à l’aide d’apprenants auto-supervisés conduit à des détecteurs OOD améliorés. Nous introduisons une nouvelle approche fondée sur l’apprentissage de représentations et sur des statistiques synthétiques informatives basées sur l’estimation de variétés, afin de résoudre tous les problèmes mentionnés. Notre méthode surpasser d’autres approches non supervisées et atteint des performances de pointe sur des benchmarks bien établis et exigeants, ainsi que sur de nouvelles tâches de détection de données synthétiques.