HyperAIHyperAI

Command Palette

Search for a command to run...

Feinabstufung durch strukturerhaltende und thematische Erweiterung voranbringen

Eyal Michaeli Ohad Fried

Zusammenfassung

Feinmaschige visuelle Klassifikation (FGVC) beinhaltet die Klassifizierung eng verwandter Subklassen. Diese Aufgabe ist schwierig aufgrund der subtilen Unterschiede zwischen den Klassen und der hohen Varianz innerhalb der Klassen. Darüber hinaus sind FGVC-Datensätze in der Regel klein und schwer zu sammeln, was die Notwendigkeit effektiver Datenverstärkung (Data Augmentation) unterstreicht. Neueste Fortschritte bei Text-zu-Bild-Diffusionsmodellen bieten neue Möglichkeiten zur Verstärkung von Klassifikationsdatensätzen. Obwohl diese Modelle bereits verwendet wurden, um Trainingsdaten für Klassifikationsaufgaben zu erzeugen, bleibt ihre Effektivität bei der vollständigen Datensatztrainierung von FGVC-Modellen noch weitgehend unerforscht. Neuere Techniken, die auf Text2Image-Erzeugung oder Img2Img-Methoden basieren, haben oft Schwierigkeiten, Bilder zu erzeugen, die die Klasse korrekt darstellen, während sie gleichzeitig eine signifikante Erhöhung der Datensatzdiversität durch Modifikation ermöglichen. Um diese Herausforderungen anzugehen, präsentieren wir SaSPA: Struktur- und Objekterhaltende Verstärkung (Structure and Subject Preserving Augmentation). Im Gegensatz zu jüngsten Methoden verwendet unser Ansatz keine realen Bilder als Leitbild, was die Generierungsflexibilität erhöht und eine größere Vielfalt fördert. Um eine genaue Darstellung der Klasse sicherzustellen, setzen wir auf konditionierende Mechanismen, insbesondere durch das Konditionieren auf Bildkanten und Objektdarstellungen. Wir führen umfangreiche Experimente durch und vergleichen SaSPA sowohl mit traditionellen als auch mit neueren generativen Datenverstärkungsverfahren. SaSPA übertrifft konsistent alle etablierten Baseline-Methoden in verschiedenen Szenarien, einschließlich vollständiger Datensatztrainierung, kontextualer Verzerrung und Few-Shot-Klassifikation. Zudem zeigen unsere Ergebnisse interessante Muster im Einsatz synthetischer Daten für FGVC-Modelle; zum Beispiel finden wir einen Zusammenhang zwischen dem Umfang an realen Daten und dem optimalen Anteil an synthetischen Daten. Der Quellcode ist unter https://github.com/EyalMichaeli/SaSPA-Aug verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Feinabstufung durch strukturerhaltende und thematische Erweiterung voranbringen | Paper | HyperAI