Complexité d'entrée et détection des données hors distribution avec des modèles génératifs fondés sur la vraisemblance

Les modèles génératifs fondés sur la vraisemblance constituent une ressource prometteuse pour détecter les entrées hors distribution (OOD), qui pourraient compromettre la robustesse ou la fiabilité d’un système d’apprentissage automatique. Toutefois, il a été démontré que les valeurs de vraisemblance issues de ces modèles présentent des limites dans la détection de certains types d’entrées qui diffèrent fortement des données d’entraînement. Dans cet article, nous proposons que ce problème provient de l’influence excessive que la complexité des entrées exerce sur les vraisemblances produites par les modèles génératifs. Nous présentons une série d’expériences qui soutiennent cette hypothèse, et utilisons une estimation de la complexité des entrées pour proposer un score OOD efficace et sans paramètre, pouvant être interprété comme un rapport de vraisemblance, analogue à une comparaison de modèles bayésiens. Nous constatons que ce score se compare avantageusement, voire surpassant, les méthodes existantes de détection OOD sur une large variété de jeux de données, de modèles, de tailles de modèles et d’estimations de complexité.