HyperAIHyperAI

Command Palette

Search for a command to run...

PCL: Proxy-basiertes kontrastives Lernen für Domänenverallgemeinerung

Bei Yu Ruiyu Li Ran Chen Qi Sun Yuechen Zhang Xinyun Zhang Yang Bai Xufeng Yao

Zusammenfassung

Domain Generalization bezeichnet das Problem, ein Modell aus einer Sammlung verschiedener Quellbereiche zu trainieren, das anschließend direkt auf bisher unbekannte Zielbereiche generalisieren kann. Eine vielversprechende Lösung ist die kontrastive Lernmethode, die darauf abzielt, domain-unabhängige Darstellungen zu lernen, indem reiche semantische Beziehungen zwischen Stichprobenpaaren aus verschiedenen Bereichen ausgenutzt werden. Ein einfacher Ansatz besteht darin, positive Stichprobenpaare aus verschiedenen Bereichen näher zueinander zu ziehen, während andere negative Paare weiter voneinander getrennt werden. In dieser Arbeit stellen wir fest, dass die direkte Anwendung kontrastbasierter Methoden (z. B. überwachtes kontrastives Lernen) in der Domain Generalization nicht wirksam ist. Wir argumentieren, dass die Ausrichtung positiver Stichprobenpaare die Generalisierungsfähigkeit des Modells beeinträchtigt, bedingt durch die erheblichen Verteilungsunterschiede zwischen den verschiedenen Bereichen. Um dieses Problem zu lösen, schlagen wir eine neuartige, proxybasierte kontrastive Lernmethode vor, die die ursprünglichen Stichproben-zu-Stichprobe-Beziehungen durch Proxy-zu-Stichprobe-Beziehungen ersetzt und somit das Problem der positiven Ausrichtung erheblich verringert. Experimente an vier etablierten Benchmark-Datensätzen belegen die Wirksamkeit des vorgeschlagenen Ansatzes. Darüber hinaus betrachten wir auch eine komplexere Situation, bei der keine ImageNet-vortrainierten Modelle zur Verfügung stehen. In diesem Fall zeigt unsere Methode ebenfalls konsistent bessere Leistung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp