Gradient Matching für Domain Generalization

Maschinelles Lernsysteme gehen typischerweise davon aus, dass die Verteilungen von Trainings- und Testdatensätzen eng übereinstimmen. Ein entscheidender Anforderung solcher Systeme in der realen Welt ist jedoch ihre Fähigkeit, auf unbekannte Domänen zu generalisieren. In diesem Beitrag stellen wir ein interdomänen-Gradientenübereinstimmungsziel vor, das die Domänen-Generalisierung durch Maximierung des inneren Produkts zwischen Gradienten aus verschiedenen Domänen anstrebt. Da die direkte Optimierung des Gradienteninnerprodukts rechnerisch oft prohibitiv ist – da sie die Berechnung zweiter Ableitungen erfordert – leiten wir einen einfacheren Algorithmus erster Ordnung ab, den wir Fish nennen, der die Optimierung annähert. Wir demonstrieren die Wirksamkeit von Fish an sechs Datensätzen aus der Wilds-Benchmark, die Verteilungsverschiebungen über eine vielfältige Palette von Modalitäten abbilden. Unser Ansatz erzielt wettbewerbsfähige Ergebnisse auf diesen Datensätzen und übertrifft alle Baselines auf vier von ihnen. Wir führen Experimente sowohl auf der Wilds-Benchmark durch, die Verteilungsverschiebungen in der realen Welt erfasst, als auch auf Datensätzen der DomainBed-Benchmark, die stärker auf den Übergang von synthetischen zu realen Daten fokussiert sind. Unser Verfahren erzielt auf beiden Benchmarks wettbewerbsfähige Ergebnisse und zeigt somit seine Effektivität über eine breite Palette von Aufgaben zur Domänen-Generalisierung hinweg.