Expand-and-Quantize: Unüberwachte semantische Segmentierung mit hochdimensionalem Raum und Produktquantisierung

Die unsupervisierte semantische Segmentierung (USS) hat das Ziel, sinnvolle Kategorien ohne jegliche Labels zu entdecken und zu erkennen. Für eine erfolgreiche USS sind zwei wesentliche Fähigkeiten erforderlich: 1) Informationskompression und 2) Clustermöglichkeiten. Frühere Methoden haben sich auf die Reduktion der Merkmalsdimension für die Informationskompression gestützt, was jedoch den Clustervorgang behindern kann. In dieser Arbeit schlagen wir einen neuen USS-Framework vor, genannt Expand-and-Quantize Unsupervised Semantic Segmentation (EQUSS), das die Vorteile hochdimensionaler Räume für eine bessere Clustering und Produktquantisierung für eine effektive Informationskompression kombiniert. Unsere umfangreichen Experimente zeigen, dass EQUSS auf drei Standardbenchmarks erstklassige Ergebnisse erzielt. Darüber hinaus analysieren wir die Entropie der USS-Merkmale, was den ersten Schritt darstellt, um USS aus der Perspektive der Informationstheorie zu verstehen.