HyperAIHyperAI

Command Palette

Search for a command to run...

Upcycling-Modelle unter Domänen- und Kategorienverschiebung

Sanqing Qu Tianpei Zou Florian Roehrbein Cewu Lu Guang Chen Dacheng Tao Changjun Jiang

Zusammenfassung

Tiefere neuronale Netze (DNNs) erzielen oft schlechte Leistungen bei Vorhandensein einer Domänenverschiebung und Kategorienverschiebung. Die Frage, wie DNNs wiederverwertet und an die Zielaufgabe angepasst werden können, bleibt ein wichtiges offenes Problem. Unüberwachte Domänenanpassung (UDA), insbesondere die kürzlich vorgeschlagene quellfreie Domänenanpassung (SFDA), hat sich als vielversprechende Technologie zur Bewältigung dieses Problems etabliert. Dennoch setzen bestehende SFDA-Methoden voraus, dass Quell- und Zieldomäne denselben Labelraum teilen, wodurch sie ausschließlich auf den klassischen geschlossenen-Set-Ansatz beschränkt sind. In diesem Artikel gehen wir einen Schritt weiter und untersuchen die quellfreie universelle Domänenanpassung (SF-UniDA). Ziel ist es, „bekannte“ Datensamples sowohl unter Domänen- als auch Kategorienschiebung zu identifizieren und „unbekannte“ Datensamples (die nicht in den Quellklassen enthalten sind) abzulehnen, wobei lediglich das Wissen aus einem standardmäßig vortrainierten Quellmodell zur Verfügung steht. Dazu führen wir eine innovative Technik des globalen und lokalen Clustering-Lernens (GLC) ein. Konkret entwerfen wir einen neuartigen, adaptiven One-vs-All-Algorithmus für das globale Clustering, um eine klare Unterscheidung zwischen verschiedenen Zielklassen zu ermöglichen, und integrieren eine lokale k-NN-Clustering-Strategie, um negative Übertragung zu verringern. Wir evaluieren die Überlegenheit unseres GLC-Verfahrens an mehreren Benchmarks unter unterschiedlichen Szenarien von Kategorienschiebung, einschließlich Partial-Set, Open-Set und Open-Partial-Set DA. Bemerkenswerterweise erreicht GLC im anspruchsvollsten Open-Partial-Set DA-Szenario eine Leistungssteigerung von 14,8 % gegenüber UMAD auf dem VisDA-Benchmark. Der Quellcode ist unter https://github.com/ispc-lab/GLC verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp