HyperAIHyperAI

Command Palette

Search for a command to run...

Gradient Matching für Domain Generalization

Yuge Shi Jeffrey Seely Philip H.S. Torr N. Siddharth Awni Hannun Nicolas Usunier Gabriel Synnaeve

Zusammenfassung

Maschinelles Lernsysteme gehen typischerweise davon aus, dass die Verteilungen von Trainings- und Testdatensätzen eng übereinstimmen. Ein entscheidender Anforderung solcher Systeme in der realen Welt ist jedoch ihre Fähigkeit, auf unbekannte Domänen zu generalisieren. In diesem Beitrag stellen wir ein interdomänen-Gradientenübereinstimmungsziel vor, das die Domänen-Generalisierung durch Maximierung des inneren Produkts zwischen Gradienten aus verschiedenen Domänen anstrebt. Da die direkte Optimierung des Gradienteninnerprodukts rechnerisch oft prohibitiv ist – da sie die Berechnung zweiter Ableitungen erfordert – leiten wir einen einfacheren Algorithmus erster Ordnung ab, den wir Fish nennen, der die Optimierung annähert. Wir demonstrieren die Wirksamkeit von Fish an sechs Datensätzen aus der Wilds-Benchmark, die Verteilungsverschiebungen über eine vielfältige Palette von Modalitäten abbilden. Unser Ansatz erzielt wettbewerbsfähige Ergebnisse auf diesen Datensätzen und übertrifft alle Baselines auf vier von ihnen. Wir führen Experimente sowohl auf der Wilds-Benchmark durch, die Verteilungsverschiebungen in der realen Welt erfasst, als auch auf Datensätzen der DomainBed-Benchmark, die stärker auf den Übergang von synthetischen zu realen Daten fokussiert sind. Unser Verfahren erzielt auf beiden Benchmarks wettbewerbsfähige Ergebnisse und zeigt somit seine Effektivität über eine breite Palette von Aufgaben zur Domänen-Generalisierung hinweg.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Gradient Matching für Domain Generalization | Paper | HyperAI