Führt verteilungsrobustes überwachtes Lernen zu robusten Klassifizierern?

Distributional Robust Supervised Learning (DRSL) ist notwendig für die Entwicklung zuverlässiger maschineller Lernsysteme. Wenn maschinelles Lernen in der realen Welt eingesetzt wird, kann seine Leistung erheblich beeinträchtigt werden, da die Testdaten möglicherweise einer anderen Verteilung folgen als die Trainingsdaten. DRSL mit f-Divergenzen berücksichtigt explizit den schlimmsten Fall von Verteilungsverschiebung, indem es den durch einen Gegner manipulierten Trainingsfehler minimiert. In dieser Arbeit analysieren wir dieses DRSL, wobei wir uns auf den Klassifikationsfall konzentrieren. Da das DRSL explizit für Szenarien mit Verteilungsverschiebung formuliert ist, erwarten wir natürlich, dass es einen robusten Klassifikator liefert, der aggressiv mit verschobenen Verteilungen umgehen kann. Überraschenderweise beweisen wir jedoch, dass das DRSL letztendlich lediglich einen Klassifikator ergibt, der exakt der gegebenen Trainingsverteilung entspricht, was zu pessimistisch ist. Dieser Pessimismus stammt aus zwei Quellen: den spezifischen Verlustfunktionen, die im Klassifikationsfall verwendet werden, und der Tatsache, dass die Vielfalt der Verteilungen, gegen die sich das DRSL robust verhalten soll, zu groß ist. Angeregt durch unsere Analyse schlagen wir ein einfaches DRSL vor, das diesen Pessimismus überwindet und dessen Effektivität wir empirisch nachweisen.