CADG: Ein Modell auf Basis von Cross-Attention für Domain-Generализierung

Bei Aufgaben der Domänenverallgemeinerung (Domain Generalization, DG) werden Modelle ausschließlich anhand von Trainingsdaten aus Quelldomänen geschult, um eine gute Generalisierung auf eine bisher nicht gesehene Zieldomäne zu erreichen. Dies führt jedoch häufig unter dem Problem der Verteilungsschiebung (distribution shift). Daher ist es entscheidend, einen Klassifikator zu lernen, der sich auf gemeinsame, dominänenunabhängige Merkmale konzentriert, die zur Klassifikation über mehrere Domänen hinweg genutzt werden können. Auf diese Weise kann der Klassifikator auch auf einer bisher unbekannten Zieldomäne eine hohe Leistung erzielen. Angesichts des Erfolgs von Cross-Attention in verschiedenen multimodalen Aufgaben stellen wir fest, dass Cross-Attention ein leistungsfähiges Werkzeug darstellt, um Merkmale aus unterschiedlichen Verteilungen zu alignen. Darauf aufbauend entwickeln wir ein Modell namens CADG (Cross Attention for Domain Generalization), bei dem Cross-Attention eine zentrale Rolle spielt, um das Problem der Verteilungsschiebung zu bewältigen. Durch diese Architektur wird gewährleistet, dass der Klassifikator auf mehreren Domänen angewendet werden kann und somit gut auf unbekannte Domänen generalisiert. Experimente zeigen, dass unsere vorgeschlagene Methode im Vergleich zu anderen Einzelmodellen state-of-the-art-Leistung auf einer Vielzahl von DG-Benchmarks erzielt und sogar die Leistung einiger Ensemble-basierter Ansätze übertrifft.