La Apprentissage Supervisé Robuste Distributivement Fournit-il des Classifieurs Robustes ?

L'apprentissage supervisé robuste distributionnellement (DRSL) est nécessaire pour construire des systèmes d'apprentissage automatique fiables. Lorsque l'apprentissage automatique est déployé dans le monde réel, ses performances peuvent être considérablement dégradées car les données de test peuvent suivre une distribution différente de celle des données d'entraînement. Le DRSL avec des f-divergences prend explicitement en compte le pire scénario de décalage de distribution en minimisant la perte d'entraînement réévaluée de manière adversaire. Dans cet article, nous analysons ce DRSL, en nous concentrant sur le scénario de classification. Étant donné que le DRSL est formulé explicitement pour un scénario de décalage de distribution, il est naturel de s'attendre à ce qu'il fournisse un classifieur robuste capable de gérer agressivement les distributions décalées. Cependant, et de manière surprenante, nous prouvons que le DRSL aboutit simplement à un classifieur qui s'adapte exactement à la distribution d'entraînement donnée, ce qui est trop pessimiste. Ce pessimisme provient de deux sources : les pertes particulières utilisées dans la classification et le fait que la variété des distributions auxquelles le DRSL tente d'être robuste est trop large. Motivés par notre analyse, nous proposons un DRSL simplifié qui surmonte ce pessimisme et démontrons empiriquement son efficacité.