Unsupervised Image Segmentation durch Maximierung der gegenseitigen Information und adversarische Regularisierung

Semantische Segmentierung ist eine grundlegende, jedoch entscheidende Aufgabe der Szenenverstehens für autonome Agenten. Die jüngsten Fortschritte im Bereich des überwachten maschinellen Lernens und neuronalen Netzwerke haben erhebliche Erfolge bei der Verbesserung der Leistungsfähigkeit der aktuellen Techniken für diese Aufgabe erzielt. Allerdings ist ihre herausragende Leistungsfähigkeit stark von der Verfügbarkeit großer, annotierter Datensätze abhängig. In diesem Paper stellen wir eine neuartige vollständig unsupervised semantische Segmentierungsmethode vor, die sogenannte Information Maximization and Adversarial Regularization Segmentation (InMARS). Angeregt durch die menschliche Wahrnehmung, die eine Szene in wahrnehmbare Gruppen zerlegt, anstatt jedes Pixel einzeln zu analysieren, partitioniert unser vorgeschlagenes Verfahren zunächst ein Eingabebild in sinnvolle Regionen (auch Superpixel genannt). Anschließend nutzt es eine Maximierung der gegenseitigen Information gefolgt von einer adversarialen Trainingsstrategie, um diese Regionen in semantisch sinnvoll interpretierbare Klassen zu gruppieren. Um eine adversariale Trainingsstrategie speziell auf dieses Problem abzustimmen, integrieren wir adversariales Pixelrauschen zusammen mit räumlichen Störungen, um photometrische und geometrische Invarianz in das tiefe neuronale Netzwerk zu integrieren. Unsere Experimente zeigen, dass unsere Methode die bisher beste Leistung auf zwei häufig verwendeten unsupervised semantischen Segmentierungsdatasets, COCO-Stuff und Potsdam, erreicht.