Autoregressive unsupervised Image Segmentation

In dieser Arbeit stellen wir einen neuen, unsupervisierten Ansatz für die Bildsegmentierung vor, der auf der Maximierung der gegenseitigen Information zwischen unterschiedlichen, aus den Eingaben konstruierten Ansichten basiert. Inspiriert von autoregressiven generativen Modellen, die den aktuellen Pixel anhand der vorherigen Pixel in einer Raster-Skannordnung vorhersagen, wobei diese Ordnung mittels maskierter Faltungen erzeugt wird, schlagen wir vor, verschiedene Ordnungen über die Eingaben mithilfe unterschiedlicher Formen maskierter Faltungen zu nutzen, um verschiedene Ansichten der Daten zu konstruieren. Für eine gegebene Eingabe erzeugt das Modell zwei Vorhersagen unter Verwendung zweier gültiger Ordnungen und wird anschließend darauf trainiert, die gegenseitige Information zwischen den beiden Ausgaben zu maximieren. Diese Ausgaben können entweder niederdimensionale Merkmale für die Repräsentationslernung oder Ausgabekluster, die semantischen Etiketten entsprechen, für die Clusterung sein. Während während des Trainings maskierte Faltungen verwendet werden, wird bei der Inferenz keine Maskierung angewendet, und wir kehren zu den herkömmlichen Faltungen zurück, bei denen das Modell Zugriff auf die vollständige Eingabe hat. Der vorgeschlagene Ansatz erreicht eine bessere Leistung als die derzeitigen State-of-the-Art-Methoden bei der unsupervisierten Bildsegmentierung. Er ist einfach und leicht implementierbar und lässt sich problemlos auf andere visuelle Aufgaben erweitern sowie nahtlos in bestehende unsupervised-Lernmethoden integrieren, die unterschiedliche Ansichten der Daten erfordern.