Upcycling-Modelle unter Domänen- und Kategorienverschiebung

Tiefere neuronale Netze (DNNs) erzielen oft schlechte Leistungen bei Vorhandensein einer Domänenverschiebung und Kategorienverschiebung. Die Frage, wie DNNs wiederverwertet und an die Zielaufgabe angepasst werden können, bleibt ein wichtiges offenes Problem. Unüberwachte Domänenanpassung (UDA), insbesondere die kürzlich vorgeschlagene quellfreie Domänenanpassung (SFDA), hat sich als vielversprechende Technologie zur Bewältigung dieses Problems etabliert. Dennoch setzen bestehende SFDA-Methoden voraus, dass Quell- und Zieldomäne denselben Labelraum teilen, wodurch sie ausschließlich auf den klassischen geschlossenen-Set-Ansatz beschränkt sind. In diesem Artikel gehen wir einen Schritt weiter und untersuchen die quellfreie universelle Domänenanpassung (SF-UniDA). Ziel ist es, „bekannte“ Datensamples sowohl unter Domänen- als auch Kategorienschiebung zu identifizieren und „unbekannte“ Datensamples (die nicht in den Quellklassen enthalten sind) abzulehnen, wobei lediglich das Wissen aus einem standardmäßig vortrainierten Quellmodell zur Verfügung steht. Dazu führen wir eine innovative Technik des globalen und lokalen Clustering-Lernens (GLC) ein. Konkret entwerfen wir einen neuartigen, adaptiven One-vs-All-Algorithmus für das globale Clustering, um eine klare Unterscheidung zwischen verschiedenen Zielklassen zu ermöglichen, und integrieren eine lokale k-NN-Clustering-Strategie, um negative Übertragung zu verringern. Wir evaluieren die Überlegenheit unseres GLC-Verfahrens an mehreren Benchmarks unter unterschiedlichen Szenarien von Kategorienschiebung, einschließlich Partial-Set, Open-Set und Open-Partial-Set DA. Bemerkenswerterweise erreicht GLC im anspruchsvollsten Open-Partial-Set DA-Szenario eine Leistungssteigerung von 14,8 % gegenüber UMAD auf dem VisDA-Benchmark. Der Quellcode ist unter https://github.com/ispc-lab/GLC verfügbar.