Generalisierung über verteilungsbedingte Abweichungen mittels Risikoextrapolation (REx)

Verteilungsverschiebung ist eine der zentralen Herausforderungen bei der Übertragung von maschinellen Lernvorhersagesystemen aus der Laborumgebung in die reale Welt. Um dieses Problem anzugehen, gehen wir davon aus, dass die Variation über die Trainingsdomänen hinweg repräsentativ für die Variation ist, die wir zu Testzeit erwarten können, gleichzeitig jedoch auch annehmen, dass Verschiebungen zu Testzeit extremer im Umfang sein können. Insbesondere zeigen wir, dass die Reduktion der Unterschiede im Risiko zwischen den Trainingsdomänen die Empfindlichkeit eines Modells gegenüber einer breiten Palette extremer Verteilungsverschiebungen verringern kann, einschließlich des anspruchsvollen Falls, in dem die Eingaben sowohl kausale als auch anti-kausale Elemente enthalten. Wir begründen unseren Ansatz, Risk Extrapolation (REx), als Form der robusten Optimierung über eine Perturbationsmenge extrapolierter Domänen (MM-REx) und schlagen eine Strafgröße für die Varianz der Trainingsrisiken (V-REx) als einfachere Variante vor. Wir beweisen, dass Varianten von REx die kausalen Mechanismen der Zielgrößen wiederherstellen können, gleichzeitig aber auch eine gewisse Robustheit gegenüber Veränderungen der Eingabeverteilung (sogenannte „Covariate Shift“) bieten. Durch eine angemessene Abwägung zwischen Robustheit gegenüber kausal induzierten Verteilungsverschiebungen und Covariate Shift ist REx in Situationen, in denen diese beiden Verschiebungsarten gleichzeitig auftreten, in der Lage, alternative Methoden wie Invariant Risk Minimization zu übertrumpfen.