DeepCut: Unüberwachte Segmentierung mittels Clustering mit Graph-Neuralen Netzen

Bildsegmentierung ist eine grundlegende Aufgabe in der Computer Vision. Die Datenaufbereitung für das Training überwachter Methoden kann arbeitsintensiv sein, was die Entwicklung unüberwachter Methoden motiviert. Aktuelle Ansätze basieren häufig auf dem Extrahieren tiefer Merkmale aus vorab trainierten Netzen, um einen Graphen zu konstruieren. Anschließend werden klassische Clusterverfahren wie k-Means und normalisierte Schnitte als Nachbearbeitungsschritt angewendet. Dieser Ansatz reduziert jedoch die hochdimensionalen Informationen, die in den Merkmalen kodiert sind, auf paarweise skalare Affinitäten. Um diese Einschränkung zu überwinden, stellt diese Studie ein leichtgewichtiges Graph Neurales Netzwerk (GNN) vor, das klassische Clusterverfahren ersetzt und gleichzeitig dasselbe Clustering-Zielfunktionsobjekt optimiert. Im Gegensatz zu bestehenden Methoden nimmt unser GNN sowohl die paarweisen Affinitäten zwischen lokalen Bildmerkmalen als auch die rohen Merkmale als Eingabe. Diese direkte Verbindung zwischen den rohen Merkmalen und dem Clustering-Zielfunktionsobjekt ermöglicht es uns, implizit die Klassifikation der Cluster zwischen verschiedenen Graphen durchzuführen, was zu einer semantischen Segmentierung von Teilen ohne zusätzliche Nachbearbeitungsschritte führt. Wir zeigen, wie klassische Clustierziele als selbstüberwachte Verlustfunktionen für das Training eines Bildsegmentierungs-GNN formuliert werden können. Darüber hinaus verwenden wir das Ziel der Korrelationsclustering (CC) zur Durchführung des Clusterns ohne Definition der Anzahl der Cluster, was ein k-freies Clustern ermöglicht. Wir wenden die vorgeschlagene Methode auf Objektollokation-, Segmentierungs- und semantische Teilsegmentierungsaufgaben an und übertreffen dabei den Stand der Technik in mehreren Benchmarks.