HyperAIHyperAI

Command Palette

Search for a command to run...

Selbstüberwachtes visuelles Repräsentationslernen mit semantischer Gruppierung

Xin Wen Bingchen Zhao Anlin Zheng Xiangyu Zhang Xiaojuan Qi

Zusammenfassung

In diesem Artikel befassen wir uns mit dem Problem der Lernung visueller Repräsentationen aus unlabeled, szenezentrierten Daten. Bestehende Ansätze haben das Potenzial der zugrunde liegenden komplexen Struktur in szenezentrierten Daten aufgezeigt; dennoch beruhen sie häufig auf handgefertigten Objectness-Priorisierungen oder spezialisierten Vorab-Aufgaben, um ein Lernframework zu etablieren, was die Generalisierbarkeit beeinträchtigen kann. Stattdessen schlagen wir ein kontrastives Lernen aus datengetriebenen semantischen Slots vor, genannt SlotCon, zur gleichzeitigen semantischen Gruppierung und Repräsentationslernung. Die semantische Gruppierung erfolgt durch die Zuweisung von Pixeln zu einer Menge lernbarer Prototypen, die sich durch aufmerksamkeitsbasiertes Pooling über die Merkmale an jedes einzelne Beispiel anpassen und dabei neue Slots bilden. Auf Basis der gelernten datenabhängigen Slots wird eine kontrastive Zielfunktion für die Repräsentationslernung eingesetzt, welche die Unterscheidbarkeit der Merkmale erhöht und gleichzeitig die Gruppierung semantisch kohärenter Pixel fördert. Im Vergleich zu früheren Ansätzen umgeht unsere Methode durch die gleichzeitige Optimierung der beiden gekoppelten Ziele der semantischen Gruppierung und des kontrastiven Lernens die Nachteile handgefertigter Priorisierungen und ist in der Lage, Objekt-/Gruppen-level-Repräsentationen aus szenezentrierten Bildern zu lernen. Experimente zeigen, dass unser Ansatz komplexe Szenen effektiv in semantische Gruppen zerlegt, um die Merkmalslernung zu unterstützen, und erhebliche Vorteile für nachgeschaltete Aufgaben liefert, darunter Objektdetektion, Instanzsegmentierung und semantische Segmentierung. Der Quellcode ist verfügbar unter: https://github.com/CVMI-Lab/SlotCon.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp