Lernen von CNN auf ViT: Ein hybrider Modell zur expliziten Erfassung klassenspezifischer Grenzen für Domain Adaptation

Die meisten Methoden zur Domänenanpassung (Domain Adaptation, DA) basieren entweder auf konvolutionellen neuronalen Netzwerken (Convolutional Neural Networks, CNNs) oder auf Vision-Transformern (Vision Transformers, ViTs). Diese Ansätze richten sich darauf, die Verteilungsunterschiede zwischen Domänen durch gemeinsame Encoder auszurichten, ohne dabei jedoch die spezifischen Stärken beider Architekturen zu berücksichtigen. So zeichnet sich ViT beispielsweise durch eine hohe Genauigkeit aus, die auf seiner herausragenden Fähigkeit beruht, globale Repräsentationen zu erfassen, während CNNs im Erfassen lokaler Merkmale überlegen sind. Ausgehend von diesem Sachverhalt haben wir ein hybrides Verfahren entwickelt, das die jeweiligen Stärken von ViT und CNN optimal nutzt, und nennen es Explicitly Class-specific Boundaries (ECB). ECB lernt CNN auf der Grundlage von ViT, um deren unterschiedliche Vorzüge zu kombinieren. Insbesondere nutzen wir die Eigenschaften von ViT, um explizit klassenspezifische Entscheidungsgrenzen zu finden, indem wir die Diskrepanz zwischen den Ausgaben zweier Klassifikatoren maximieren, um Zielproben zu identifizieren, die sich erheblich von den Quellunterstützungen unterscheiden. Im Gegensatz dazu verwendet der CNN-Encoder die zuvor definierten klassenspezifischen Grenzen, um Zielmerkmale zu clustern, indem die Diskrepanz zwischen den Wahrscheinlichkeiten der beiden Klassifikatoren minimiert wird. Schließlich tauschen ViT und CNN gegenseitig Wissen aus, um die Qualität der Pseudolabels zu verbessern und die Wissensdiskrepanzen zwischen den Modellen zu verringern. Im Vergleich zu herkömmlichen DA-Methoden erzielt unser ECB eine überlegene Leistung, was die Wirksamkeit des hybriden Ansatzes belegt. Die Projektwebsite ist unter folgender Adresse zu finden: https://dotrannhattuong.github.io/ECB/website.