HyperAIHyperAI

Command Palette

Search for a command to run...

Spärliche räumliche Transformer für Few-Shot-Lernen

Haoxing CHEN Huaxiong LI* Yaohui LI Chunlin CHEN

Zusammenfassung

Das Lernen aus begrenzten Daten ist eine Herausforderung, da die Datenknappheit zu einer schlechten Generalisierung des trainierten Modells führt. Eine klassische globale Pooling-Darstellung wird wahrscheinlich nützliche lokale Informationen verlieren. Viele Few-Shot-Lernmethoden haben diese Herausforderung kürzlich mit tiefen Deskriptoren und dem Lernen einer Pixel-Level-Metrik angegangen. Allerdings kann das Verwenden von tiefen Deskriptoren als Merkmalsdarstellungen den Kontext der Bilder verlieren. Darüber hinainaus adressieren die meisten dieser Methoden jede Klasse im Support-Set unabhängig voneinander, was es nicht ermöglicht, diskriminierende Informationen und taskspezifische Einbettungen ausreichend zu nutzen. In diesem Artikel schlagen wir eine neuartige transformerbasierte neuronale Netzwerkarchitektur vor, die Sparse Spatial Transformers (SSFormers) genannt wird, welche taskspezifische Merkmale findet und taskspezifisch irrelevante Merkmale unterdrückt. Insbesondere teilen wir zunächst jedes Eingangsbild in mehrere Bildsegmente unterschiedlicher Größen auf, um dichte lokale Merkmale zu erhalten. Diese Merkmale behalten den Kontext bei, während sie lokale Informationen ausdrücken. Anschließend wird eine Schicht von dünn besetzten räumlichen Transformatoren vorgeschlagen, um die räumliche Korrespondenz zwischen dem Abfragebild und dem gesamten Support-Set zu finden, um taskspezifisch relevante Bildsegmente auszuwählen und taskspezifisch irrelevante Bildsegmente zu unterdrücken. Schließlich schlagen wir vor, ein Modul zur Bildsegment-Matching zu verwenden, um den Abstand zwischen dichten lokalen Darstellungen zu berechnen und so die Kategorie des Abfragebilds im Support-Set zu bestimmen. Ausführliche Experimente an bekannten Few-Shot-Lernbenchmarks zeigen die Überlegenheit unserer Methode gegenüber den besten bisherigen Methoden. Unser Quellcode ist unter \url{https://github.com/chenhaoxing/ssformers} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Spärliche räumliche Transformer für Few-Shot-Lernen | Paper | HyperAI