Selbsttraining-gesteuerte adversarische Domänenanpassung für thermische Bildaufnahmen

Tiefen Modelle, die auf großskaligen RGB-Bild-Datensätzen trainiert wurden, haben beachtliche Erfolge erzielt. Es ist von großer Bedeutung, solche tiefen Modelle auf reale Anwendungen zu übertragen. Allerdings leiden diese Modelle unter Lichtänderungen, was zu einer Leistungsgrenze führt. Thermische Infrarot-Kameras sind hingegen robuster gegenüber solchen Änderungen und können daher für reale Anwendungen äußerst nützlich sein. Um die Wirksamkeit der Kombination von informationsschweren sichtbaren Spektrum- und thermischen Bildmodaliäten zu untersuchen, schlagen wir eine unsupervisierte Domänenanpassungsmethode vor, die keine Paare aus RGB- und thermischen Bildern erfordert. Wir verwenden den großskaligen RGB-Datensatz MS-COCO als Quelldomäne und den thermischen Datensatz FLIR ADAS als Ziel-Domäne, um die Ergebnisse unserer Methode zu demonstrieren. Obwohl adversarische Domänenanpassungsmethoden darauf abzielen, die Verteilungen der Quell- und Ziel-Domänen zu angleichen, garantiert die einfache Verteilungsangleichung nicht eine perfekte Generalisierung auf die Ziel-Domäne. Um dies zu beheben, schlagen wir eine selbsttrainierte, adversarische Domänenanpassungsmethode vor, die die Generalisierungsfähigkeit adversarischer Domänenanpassungsmethoden verbessert. Zur Durchführung des Selbsttrainings werden Pseudolabels auf den Proben der Ziel-thermischen Domäne zugewiesen, um allgemeinere Darstellungen für die Ziel-Domäne zu lernen. Ausführliche experimentelle Analysen zeigen, dass unsere vorgeschlagene Methode gegenüber den aktuellen Stand der Technik in der adversarischen Domänenanpassung bessere Ergebnisse erzielt. Der Quellcode und die Modelle sind öffentlich verfügbar.