Unüberwachte Entdeckung der Long-Tail in der Instanzsegmentierung durch hierarchische Selbstüberwachung

Instanzsegmentierung ist ein aktives Forschungsthema in der Computer Vision, das in der Regel durch die Anwendung überwachter Lernverfahren auf sehr großen Datensätzen gelöst wird, die aus Objektmasken auf Objektebene bestehen. Die Erstellung eines solchen Datensatzes für neue Domänen kann sehr kostspielig und zeitaufwendig sein. Darüber hinaus verallgemeinern Modelle, die auf bestimmten annotierten Kategorien trainiert wurden, nicht gut auf unbekannte Objekte. Das Ziel dieser Arbeit ist es, eine Methode vorzuschlagen, die in der Lage ist, durch das Lernen von Instanz-Embeddings maskierter Regionen eine unüberwachte Entdeckung von Long-Tail-Kategorien in der Instanzsegmentierung durchzuführen. Indem wir die reichen Beziehungen und hierarchischen Strukturen zwischen den Objekten in den Bildern nutzen, schlagen wir selbstüberwachte Verlustfunktionen zum Lernen von Masken-Embeddings vor. Unser Modell wurde ohne zusätzliche Annotationen von Long-Tail-Objekten auf dem COCO-Datensatz trainiert und ist in der Lage, neuartige und feingranulare Objekte zu entdecken, die über die gängigen Kategorien im COCO-Datensatz hinausgehen. Wir zeigen, dass das Modell wettbewerbsfähige quantitative Ergebnisse auf LVIS erzielt, vergleichbar mit überwachten und teilweise überwachten Methoden.