PCL: Proxy-basiertes kontrastives Lernen für Domänenverallgemeinerung

Domain Generalization bezeichnet das Problem, ein Modell aus einer Sammlung verschiedener Quellbereiche zu trainieren, das anschließend direkt auf bisher unbekannte Zielbereiche generalisieren kann. Eine vielversprechende Lösung ist die kontrastive Lernmethode, die darauf abzielt, domain-unabhängige Darstellungen zu lernen, indem reiche semantische Beziehungen zwischen Stichprobenpaaren aus verschiedenen Bereichen ausgenutzt werden. Ein einfacher Ansatz besteht darin, positive Stichprobenpaare aus verschiedenen Bereichen näher zueinander zu ziehen, während andere negative Paare weiter voneinander getrennt werden. In dieser Arbeit stellen wir fest, dass die direkte Anwendung kontrastbasierter Methoden (z. B. überwachtes kontrastives Lernen) in der Domain Generalization nicht wirksam ist. Wir argumentieren, dass die Ausrichtung positiver Stichprobenpaare die Generalisierungsfähigkeit des Modells beeinträchtigt, bedingt durch die erheblichen Verteilungsunterschiede zwischen den verschiedenen Bereichen. Um dieses Problem zu lösen, schlagen wir eine neuartige, proxybasierte kontrastive Lernmethode vor, die die ursprünglichen Stichproben-zu-Stichprobe-Beziehungen durch Proxy-zu-Stichprobe-Beziehungen ersetzt und somit das Problem der positiven Ausrichtung erheblich verringert. Experimente an vier etablierten Benchmark-Datensätzen belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Darüber hinaus betrachten wir auch eine komplexere Situation, bei der keine ImageNet-vortrainierten Modelle zur Verfügung stehen. In diesem Fall zeigt unsere Methode ebenfalls konsistent bessere Leistung.