HyperAIHyperAI

Command Palette

Search for a command to run...

DatUS^2: Datengetriebene unsupervisierte semantische Segmentierung mit vortrainiertem selbstsupervisieren Vision Transformer

Sonal Kumar Arijit Sur Rashmi Dutta Baruah

Zusammenfassung

Vorschläge verschiedener selbstüberwachter Trainingsverfahren folgen einander in rascher Folge und bringen uns einen Schritt näher an die Entwicklung eines universellen Grundmodells. In diesem Prozess werden unüberwachte Downstream-Aufgaben als eine der Evaluationsmethoden erkannt, um die Qualität der mit einem selbstüberwachten Trainingsverfahren gelernten visuellen Merkmale zu überprüfen. Allerdings wurde unüberwachte dichte semantische Segmentierung bisher nicht als Downstream-Aufgabe untersucht, die es ermöglicht, die Qualität der im Patch-Level-Feature-Darstellung während des selbstüberwachten Trainings eines Vision Transformers eingeführten semantischen Informationen zu nutzen und zu bewerten. Daher schlägt dieser Artikel einen neuen datengetriebenen Ansatz für unüberwachte semantische Segmentierung (DatUS^2) als Downstream-Aufgabe vor. DatUS^2 erstellt semantisch konsistente und dichte Pseudo-Segmentierungs-Masken für den nicht annotierten Bild-Datensatz, ohne dabei auf visuelle Vorinformationen oder synchronisierte Daten zurückzugreifen. Wir vergleichen diese Pseudo-annotierten Segmentierungs-Masken mit den Ground-Truth-Masken, um aktuelle selbstüberwachte Trainingsverfahren zur Lernung gemeinsamer semantischer Eigenschaften auf Patch-Ebene und diskriminativer semantischer Eigenschaften auf Segmentebene zu evaluieren. Schließlich bewerten wir existierende state-of-the-art selbstüberwachte Trainingsverfahren mit unserer vorgeschlagenen Downstream-Aufgabe, nämlich DatUS^2. Die beste Version von DatUS^2 übertreffen zudem die bisherigen state-of-the-art-Methoden für die Aufgabe der unüberwachten dichten semantischen Segmentierung mit 15,02 % MiOU (Mean Intersection over Union) und 21,47 % Pixelgenauigkeit auf dem SUIM-Datensatz. Sie erreicht auch eine wettbewerbsfähige Genauigkeit für große und komplexe Datensätze wie den COCO-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp