HyperAIHyperAI

Command Palette

Search for a command to run...

SATS: Selbst-Aufmerksamkeits-Transfer für kontinuierliche semantische Segmentierung

Yiqiao Qiu¹, Yixing Shen¹, Zhuohao Sun¹, Yanchong Zheng³ Xiaobin Chang², Weishi Zheng¹, Ruixuan Wang¹,∗

Zusammenfassung

Das kontinuierliche Lernen, um immer mehr Arten von Bildbereichen zu segmentieren, ist eine gewünschte Fähigkeit für viele intelligente Systeme. Allerdings leidet das kontinuierliche semantische Segmentieren an demselben Problem des katastrophalen Vergessens wie das kontinuierliche Klassifikationslernen. Obwohl mehrere Wissensdistillationsstrategien, die ursprünglich für das kontinuierliche Klassifikationslernen entwickelt wurden, gut auf das kontinuierliche semantische Segmentieren angepasst wurden, berücksichtigen sie nur den Transfer alter Wissen basierend auf den Ausgaben einer oder mehrerer Schichten tiefgestreckter voll konvolutiver Netze. Im Gegensatz zu bestehenden Lösungen schlägt diese Studie vor, eine neue Art von Wissensrelevanz zu transferieren, nämlich die Beziehungen zwischen Elementen (z.B. Pixeln oder kleinen lokalen Bereichen) innerhalb jedes Bildes, die sowohl innerhalb der Klassen als auch zwischen den Klassen Wissen erfassen können. Die Beziehungsinformationen können effektiv aus den Selbst-Aufmerksamkeitskarten in einem Transformer-basierten Segmentierungsmodell abgeleitet werden. Angesichts der Tatsache, dass Pixel derselben Klasse in jedem Bild oft ähnliche visuelle Eigenschaften teilen, wird eine klassenspezifische Regionspooling-Methode angewendet, um effizientere Beziehungsinformationen für den Wissentransfer bereitzustellen. Umfangreiche Evaluierungen auf mehreren öffentlichen Benchmarks zeigen, dass die vorgeschlagene Methode zur Übertragung von Selbst-Aufmerksamkeit das Problem des katastrophalen Vergessens effektiv weiter reduzieren kann und ihre flexible Kombination mit einer oder mehreren weit verbreiteten Strategien erheblich bessere Ergebnisse als state-of-the-art-Lösungen erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
SATS: Selbst-Aufmerksamkeits-Transfer für kontinuierliche semantische Segmentierung | Paper | HyperAI