Rekurrente Pixel-Embedding für die Instanzgruppierung

Wir stellen ein differenzierbares, von Anfang bis Ende trainierbares Framework zur Lösung von Pixel-Level-Gruppierungsproblemen wie Instanzsegmentierung vor, das aus zwei neuartigen Komponenten besteht. Erstens regredieren wir Pixel in einen hyper-sphärischen Einbettungsraum, sodass Pixel derselben Gruppe eine hohe Kosinussimilarität aufweisen, während die Similarität von Pixeln verschiedener Gruppen unter einem bestimmten Marginalwert liegt. Wir analysieren die Wahl der Einbettungsdimension und des Marginalwerts und beziehen sie auf theoretische Ergebnisse zum Problem der gleichmäßigen Verteilung von Punkten auf der Sphäre. Zweitens verwenden wir eine Variante des Mean-Shift-Clustering, implementiert als rekurrentes neuronales Netzwerk mit kerneingebundener Bandbreite. Dieser rekurrente Gruppierungsmodul ist differenzierbar, verfügt über konvergente Dynamik und probabilistische Interpretierbarkeit. Die Rückpropagation des gruppen-gewichteten Verlusts durch diesen Modul ermöglicht es dem Lernen, sich nur auf die Korrektur von Einbettungsfehlern zu konzentrieren, die nicht während der nachfolgenden Clusteringprozesse behoben werden können. Unser Framework ist zwar konzeptuell einfach und theoriereich, aber auch praktisch effektiv und rechnerisch effizient. Wir zeigen erhebliche Verbesserungen im Vergleich zum Stand der Technik bei Instanzsegmentierung für Objektvorschläge sowie den Vorteilen des Gruppierungsverlusts für Klassifizierungsaufgaben wie Randdetektion und semantische Segmentierung.