Généralisation hors distribution par extrapolation du risque (REx)

Le décalage de distribution est l’un des principaux obstacles à la mise en œuvre de systèmes de prédiction apprenant par machine, passant du laboratoire au monde réel. Pour relever ce défi, nous supposons que la variation observée entre les domaines d’entraînement reflète la variation que l’on pourrait rencontrer lors de l’évaluation, tout en postulant que les décalages observés à l’évaluation pourraient être plus extrêmes en amplitude. En particulier, nous montrons qu’en réduisant les différences de risque entre les domaines d’entraînement, on peut diminuer la sensibilité d’un modèle à une large gamme de décalages de distribution extrêmes, y compris dans le cas difficile où l’entrée contient à la fois des éléments causaux et anti-causaux. Nous motivons cette approche, appelée Extrapolation du Risque (REx), comme une forme d’optimisation robuste sur un ensemble de perturbations constitué de domaines extrapolés (MM-REx), et proposons une variante plus simple fondée sur une pénalité appliquée à la variance des risques d’entraînement (V-REx). Nous démontrons que les variantes de REx permettent de récupérer les mécanismes causaux des cibles, tout en offrant une certaine robustesse aux changements de distribution d’entrée (« décalage de covariable »). En ajustant judicieusement le compromis entre robustesse aux décalages de distribution induits par des relations causales et robustesse au décalage de covariable, REx surpasse les méthodes alternatives, telles que la Minimisation du Risque Invariant, dans des situations où ces deux types de décalage coexistent.