Zur Weiterentwicklung der Aufmerksamkeit hin zur Domänenanpassung

Zu einer verbesserten unsupervisierten Domänenanpassung (UDA). Kürzlich haben Forscher verschiedene domänenbedingte Aufmerksamkeitsmodule vorgeschlagen und dabei vielversprechende Fortschritte erzielt. Da jedoch die Konfiguration der Aufmerksamkeit – also Art und Position des Aufmerksamkeitsmoduls – erheblichen Einfluss auf die Leistung hat, ist es allgemeiner und sinnvoller, die Aufmerksamkeitskonfiguration automatisch zu optimieren, um sie speziell für beliebige UDA-Szenarien zu spezialisieren. Erstmals stellt dieser Artikel EvoADA vor: einen neuartigen Rahmen, der die Evolution der Aufmerksamkeitskonfiguration für eine gegebene UDA-Aufgabe ohne menschliches Eingreifen ermöglicht. Insbesondere schlagen wir einen innovativen Suchraum vor, der vielfältige Aufmerksamkeitskonfigurationen enthält. Um die Aufmerksamkeitskonfigurationen zu bewerten und den Suchprozess auf UDA auszurichten (Transferierbarkeit + Diskriminierbarkeit), verwenden wir eine einfache und effektive Bewertungsstrategie: 1) Training der Netzwerkparameter auf zwei Domänen mittels etablierter Domänenanpassungsmethoden; 2) Evolution der Aufmerksamkeitskonfigurationen unter der Anleitung der Diskriminierungsfähigkeit auf der Ziel-Domäne. Experimente an verschiedenen Kreuz-Domänen-Benchmarks – darunter Office-31, Office-Home, CUB-Paintings und Duke-Market-1510 – zeigen, dass EvoADA mehrere aktuelle State-of-the-Art-Methoden für Domänenanpassung konsistent verbessert, und dass die optimalen Aufmerksamkeitskonfigurationen dazu beitragen, eine höhere Leistung zu erzielen.