Ein bayesscher Ansatz für OOD-Robustheit in der Bildklassifikation

Ein wichtiges und bisher ungelöstes Problem in der Computer Vision besteht darin, sicherzustellen, dass Algorithmen robust gegenüber Veränderungen in Bilddomänen sind. Wir behandeln dieses Problem im Szenario, bei dem wir Zugriff auf Bilder aus den Ziel-Domänen haben, jedoch keine Annotationen. Angeregt durch die Herausforderungen des OOD-CV-Benchmarks, bei dem wir echte Out-of-Domain (OOD)-Störungen und Verdeckungen beobachten, stellen wir einen neuen bayesschen Ansatz zur OOD-Robustheit für die Objektklassifikation vor. Unser Ansatz erweitert Compositional Neural Networks (CompNets), die sich als robust gegenüber Verdeckung erwiesen haben, jedoch stark an Leistung verlieren, wenn sie auf OOD-Daten getestet werden. Wir nutzen die Tatsache, dass CompNets einen generativen Kopf enthalten, der über Merkmalsvektoren basiert, die durch von-Mises-Fisher (vMF)-Kerne repräsentiert werden – diese entsprechen grob Objektteilen und können ohne Überwachung gelernt werden. Wir beobachten, dass einige vMF-Kerne zwischen verschiedenen Domänen ähnlich sind, während andere sich unterscheiden. Dies ermöglicht es uns, ein Übergangs-Wörterbuch aus vMF-Kernen zu lernen, das sich zwischen der Quell- und Ziel-Domäne befindet, und das generative Modell auf diesem Wörterbuch unter Verwendung der Annotationen aus der Quell-Domäne zu trainieren, gefolgt von iterativer Verbesserung. Dieser Ansatz, genannt Unsupervised Generative Transition (UGT), zeigt hervorragende Leistung in OOD-Szenarien, selbst wenn Verdeckungen vorliegen. UGT wird auf verschiedenen OOD-Benchmarks evaluiert, darunter das OOD-CV-Dataset, mehrere gängige Datensätze (z. B. ImageNet-C [9]), künstliche Bildverzerrungen (einschließlich Hinzufügen von Verdeckern) sowie Transfer von synthetischen zu realen Domänen und erzielt in allen Szenarien überlegene Ergebnisse gegenüber bestehenden State-of-the-Art-Methoden (z. B. bis zu 10 % höhere Top-1-Accuracy auf dem occluded OOD-CV-Dataset).