HyperAIHyperAI

Command Palette

Search for a command to run...

Généralisation hors distribution par extrapolation du risque (REx)

David Krueger Ethan Caballero Joern-Henrik Jacobsen Amy Zhang Jonathan Binas Dinghuai Zhang Remi Le Priol Aaron Courville

Résumé

Le décalage de distribution est l’un des principaux obstacles à la mise en œuvre de systèmes de prédiction apprenant par machine, passant du laboratoire au monde réel. Pour relever ce défi, nous supposons que la variation observée entre les domaines d’entraînement reflète la variation que l’on pourrait rencontrer lors de l’évaluation, tout en postulant que les décalages observés à l’évaluation pourraient être plus extrêmes en amplitude. En particulier, nous montrons qu’en réduisant les différences de risque entre les domaines d’entraînement, on peut diminuer la sensibilité d’un modèle à une large gamme de décalages de distribution extrêmes, y compris dans le cas difficile où l’entrée contient à la fois des éléments causaux et anti-causaux. Nous motivons cette approche, appelée Extrapolation du Risque (REx), comme une forme d’optimisation robuste sur un ensemble de perturbations constitué de domaines extrapolés (MM-REx), et proposons une variante plus simple fondée sur une pénalité appliquée à la variance des risques d’entraînement (V-REx). Nous démontrons que les variantes de REx permettent de récupérer les mécanismes causaux des cibles, tout en offrant une certaine robustesse aux changements de distribution d’entrée (« décalage de covariable »). En ajustant judicieusement le compromis entre robustesse aux décalages de distribution induits par des relations causales et robustesse au décalage de covariable, REx surpasse les méthodes alternatives, telles que la Minimisation du Risque Invariant, dans des situations où ces deux types de décalage coexistent.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Généralisation hors distribution par extrapolation du risque (REx) | Articles | HyperAI