Lernen aus extrinsischer und intrinsischer Supervision für Domain-Generalisierung

Die Generalisierungsfähigkeit von neuronalen Netzwerken über Domänen hinweg ist für reale Anwendungen von entscheidender Bedeutung. Wir argumentieren, dass ein generalisierendes Objekterkennungssystem sowohl die Beziehungen zwischen verschiedenen Bildern als auch die Bilder selbst gleichzeitig gut verstehen sollte. Um dies zu erreichen, präsentieren wir einen neuen Framework für Domänen-Generalisierung, der gleichzeitig aus extrinsischer Beziehungsüberwachung und intrinsischer Selbstüberwachung lernt, wie man über Domänen hinweg generalisiert, wobei Daten aus mehreren Quellen verwendet werden. Genauer formulieren wir unseren Ansatz mittels Merkmals-Embedding im Rahmen eines Multi-Task-Lernparadigmas. Neben der klassischen überwachten Erkennungsaufgabe integrieren wir nahtlos eine Momentum-Metrik-Lernaufgabe und eine selbstüberwachte Hilfsaufgabe, um sowohl extrinsische als auch intrinsische Supervision kollektiv zu nutzen. Zudem entwickeln wir eine effektive Momentum-Metrik-Lernstrategie mit K-hard-Negative-Mining, um das Netzwerk zu stärken, Bildbeziehungen für die Domänen-Generalisierung zu erfassen. Wir belegen die Wirksamkeit unseres Ansatzes an zwei etablierten Benchmark-Datenbanken für Objekterkennung, VLCS und PACS, und zeigen, dass unsere Methode eine state-of-the-art-Leistung erzielt.