DecAug: Generalisierung über den Bereich der Trainingsdaten hinaus durch dekomponierte Merkmalsdarstellung und semantische Augmentation

Während tiefes Lernen seine starke Fähigkeit zur Bewältigung unabhängig und identisch verteilter (IID) Daten demonstriert, leidet es häufig unter der Generalisierung außerhalb der Verteilung (Out-of-Distribution, OoD), wenn die Testdaten einer anderen Verteilung entstammen (im Vergleich zur Trainingsverteilung). Die Entwicklung eines allgemeinen OoD-Generalisierungsframeworks für eine Vielzahl von Anwendungen ist herausfordernd, hauptsächlich aufgrund möglicher Korrelationsverschiebungen und Diversitätsverschiebungen in der realen Welt. Die meisten bisherigen Ansätze können lediglich eine spezifische Verteilungsverschiebung bewältigen, beispielsweise Verschiebungen zwischen Domänen oder die Extrapolation von Korrelationen. Um dieses Problem anzugehen, schlagen wir DecAug vor – einen neuartigen Ansatz zur dekomponierten Merkmalsdarstellung und semantischen Augmentation für OoD-Generalisierung. DecAug trennt kategorienbezogene und kontextbezogene Merkmale voneinander. Kategorienbezogene Merkmale enthalten kausale Informationen des Zielobjekts, während kontextbezogene Merkmale Attribute, Stile, Hintergründe oder Szenen beschreiben, die für die Verteilungsverschiebung zwischen Trainings- und Testdaten verantwortlich sind. Diese Dekomposition wird erreicht, indem die beiden Gradienten (bezüglich der Zwischenmerkmale) der Verluste zur Vorhersage von Kategorie- und Kontextlabels orthogonalisiert werden. Darüber hinaus führen wir eine auf Gradienten basierende Augmentation an den kontextbezogenen Merkmalen durch, um die Robustheit der gelernten Darstellungen zu verbessern. Experimentelle Ergebnisse zeigen, dass DecAug andere state-of-the-art-Methoden auf verschiedenen OoD-Datensätzen übertrifft und zu den wenigen Ansätzen gehört, die unterschiedliche Arten von OoD-Generalisierungs-Herausforderungen bewältigen können.