HyperAIHyperAI

Command Palette

Search for a command to run...

Zur Weiterentwicklung der Aufmerksamkeit hin zur Domänenanpassung

Kekai Sheng Ke Li Xiawu Zheng Jian Liang Weiming Dong Feiyue Huang Rongrong Ji Xing Sun

Zusammenfassung

Zu einer verbesserten unsupervisierten Domänenanpassung (UDA). Kürzlich haben Forscher verschiedene domänenbedingte Aufmerksamkeitsmodule vorgeschlagen und dabei vielversprechende Fortschritte erzielt. Da jedoch die Konfiguration der Aufmerksamkeit – also Art und Position des Aufmerksamkeitsmoduls – erheblichen Einfluss auf die Leistung hat, ist es allgemeiner und sinnvoller, die Aufmerksamkeitskonfiguration automatisch zu optimieren, um sie speziell für beliebige UDA-Szenarien zu spezialisieren. Erstmals stellt dieser Artikel EvoADA vor: einen neuartigen Rahmen, der die Evolution der Aufmerksamkeitskonfiguration für eine gegebene UDA-Aufgabe ohne menschliches Eingreifen ermöglicht. Insbesondere schlagen wir einen innovativen Suchraum vor, der vielfältige Aufmerksamkeitskonfigurationen enthält. Um die Aufmerksamkeitskonfigurationen zu bewerten und den Suchprozess auf UDA auszurichten (Transferierbarkeit + Diskriminierbarkeit), verwenden wir eine einfache und effektive Bewertungsstrategie: 1) Training der Netzwerkparameter auf zwei Domänen mittels etablierter Domänenanpassungsmethoden; 2) Evolution der Aufmerksamkeitskonfigurationen unter der Anleitung der Diskriminierungsfähigkeit auf der Ziel-Domäne. Experimente an verschiedenen Kreuz-Domänen-Benchmarks – darunter Office-31, Office-Home, CUB-Paintings und Duke-Market-1510 – zeigen, dass EvoADA mehrere aktuelle State-of-the-Art-Methoden für Domänenanpassung konsistent verbessert, und dass die optimalen Aufmerksamkeitskonfigurationen dazu beitragen, eine höhere Leistung zu erzielen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Zur Weiterentwicklung der Aufmerksamkeit hin zur Domänenanpassung | Paper | HyperAI