Zero-Shot Day-Night Domain Adaptation mit einem Physikprior

Wir untersuchen die Zero-Shot-Situation für die Tages-Nachts-Domänenanpassung. Im traditionellen Domänenanpassungsansatz wird zunächst auf einer Quelldomäne trainiert und anschließend auf die Zieldomäne adaptiert, wobei unlabeled Daten aus dem Testset genutzt werden. Da die Beschaffung relevanter Testdaten jedoch kostspielig und in manchen Fällen sogar unmöglich ist, verzichten wir vollständig auf Testdatenbildinformationen und nutzen stattdessen eine visuelle induktive Prior, die aus physikbasierten Reflexionsmodellen abgeleitet wird, zur Domänenanpassung. Wir integrieren mehrere farbinvariante Kantenendetektoren als trainierbare Schichten in ein convolutionales neuronales Netzwerk und evaluieren ihre Robustheit gegenüber Lichtveränderungen. Wir zeigen, dass die farbinvariante Schicht die Verteilungsverschiebung zwischen Tag und Nacht in den Aktivierungen der Merkmalskarten im gesamten Netzwerk reduziert. Unsere Ergebnisse demonstrieren eine verbesserte Leistung bei der Zero-Shot-Tages-zu-Nachts-Domänenanpassung sowohl auf synthetischen als auch auf natürlichen Datensätzen in verschiedenen Aufgaben, einschließlich Klassifikation, Segmentierung und Ortserkennung.