HyperAIHyperAI

Command Palette

Search for a command to run...

StyleAdv: Meta-Stil-Adversarial Training für cross-domain Few-Shot Learning

Yuqian Fu Yu Xie Yanwei Fu Yu-Gang Jiang

Zusammenfassung

Cross-Domain Few-Shot Learning (CD-FSL) ist eine kürzlich entstandene Aufgabe, die Few-Shot-Lernen über verschiedene Domänen hinweg bearbeitet. Ziel ist es, vorheriges Wissen, das auf einem Quelldatensatz erlernt wurde, auf neuartige Ziel-Datensätze zu übertragen. Die CD-FSL-Aufgabe wird besonders herausfordernd durch den erheblichen Domänenabstand zwischen verschiedenen Datensätzen. Kritisch betrachtet stammt dieser Domänenabstand tatsächlich von Veränderungen visueller Stile ab, und wave-SAN zeigt empirisch, dass die Ausweitung der Stilverteilung des Quelldatensatzes diese Herausforderung lindern kann. Allerdings tauscht wave-SAN lediglich die Stile zweier Bilder aus. Diese einfache Operation führt dazu, dass die generierten Stile „real“ und „leicht“ sind und weiterhin in der ursprünglichen Menge der Quellstile verbleiben. Inspiriert durch die herkömmliche adversarische Lernmethode wird daher ein neuartiges, modellunabhängiges Meta-Stil-Adversarial-Training (StyleAdv) vorgestellt, zusammen mit einer neuen Methode zur Stil-Adversarial-Angriff. Insbesondere synthetisiert unsere Stil-Angriffsmethode sowohl „virtuelle“ als auch „schwierige“ adversarische Stile für das Modelltraining. Dies wird erreicht, indem die ursprünglichen Stile mit signierten Stil-Gradienten gestört werden. Durch kontinuierliche Angriffe auf Stile und die Erzwingung, dass das Modell diese anspruchsvollen adversarischen Stile erkennen muss, wird das Modell schrittweise robuster gegenüber visuellen Stilen, was die Generalisierungsfähigkeit für neuartige Ziel-Datensätze verbessert. Neben dem typischen CNN-basierten Backbone wenden wir unsere StyleAdv-Methode auch auf großskalige, vortrainierte Vision-Transformer an. Umfangreiche Experimente an acht verschiedenen Ziel-Datensätzen belegen die Wirksamkeit unserer Methode. Unabhängig davon, ob auf ResNet oder ViT aufgebaut, erreichen wir jeweils den neuen Stand der Technik für CD-FSL. Der Quellcode ist unter https://github.com/lovelyqian/StyleAdv-CDFSL verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
StyleAdv: Meta-Stil-Adversarial Training für cross-domain Few-Shot Learning | Paper | HyperAI