HyperAIHyperAI

Command Palette

Search for a command to run...

DeepCut: Unüberwachte Segmentierung mittels Clustering mit Graph-Neuralen Netzen

Amit Aflalo Shai Bagon Tamar Kashti Yonina Eldar

Zusammenfassung

Bildsegmentierung ist eine grundlegende Aufgabe in der Computer Vision. Die Datenaufbereitung für das Training überwachter Methoden kann arbeitsintensiv sein, was die Entwicklung unüberwachter Methoden motiviert. Aktuelle Ansätze basieren häufig auf dem Extrahieren tiefer Merkmale aus vorab trainierten Netzen, um einen Graphen zu konstruieren. Anschließend werden klassische Clusterverfahren wie k-Means und normalisierte Schnitte als Nachbearbeitungsschritt angewendet. Dieser Ansatz reduziert jedoch die hochdimensionalen Informationen, die in den Merkmalen kodiert sind, auf paarweise skalare Affinitäten. Um diese Einschränkung zu überwinden, stellt diese Studie ein leichtgewichtiges Graph Neurales Netzwerk (GNN) vor, das klassische Clusterverfahren ersetzt und gleichzeitig dasselbe Clustering-Zielfunktionsobjekt optimiert. Im Gegensatz zu bestehenden Methoden nimmt unser GNN sowohl die paarweisen Affinitäten zwischen lokalen Bildmerkmalen als auch die rohen Merkmale als Eingabe. Diese direkte Verbindung zwischen den rohen Merkmalen und dem Clustering-Zielfunktionsobjekt ermöglicht es uns, implizit die Klassifikation der Cluster zwischen verschiedenen Graphen durchzuführen, was zu einer semantischen Segmentierung von Teilen ohne zusätzliche Nachbearbeitungsschritte führt. Wir zeigen, wie klassische Clustierziele als selbstüberwachte Verlustfunktionen für das Training eines Bildsegmentierungs-GNN formuliert werden können. Darüber hinaus verwenden wir das Ziel der Korrelationsclustering (CC) zur Durchführung des Clusterns ohne Definition der Anzahl der Cluster, was ein k-freies Clustern ermöglicht. Wir wenden die vorgeschlagene Methode auf Objektollokation-, Segmentierungs- und semantische Teilsegmentierungsaufgaben an und übertreffen dabei den Stand der Technik in mehreren Benchmarks.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp