Universelle Segmentierung bei beliebiger Granularität durch Sprachanweisung

Dieses Papier strebt eine universelle Segmentierung beliebiger semantischer Ebene an. Trotz erheblicher Fortschritte in den letzten Jahren sind spezialisierte Segmentierungsansätze auf bestimmte Aufgaben und Datenverteilungen beschränkt. Das Neutrainieren eines Modells zur Anpassung an neue Szenarien oder Einstellungen erfordert hohe Rechen- und Zeitkosten, was die Nachfrage nach einem vielseitigen und universellen Segmentierungsmodell erhöht, das sich auf verschiedene Granularitäten einstellen kann. Obwohl einige Versuche unternommen wurden, um verschiedene Segmentierungsaufgaben zu vereinheitlichen oder auf verschiedene Szenarien zu verallgemeinern, erschweren Einschränkungen in der Definition von Paradigmen und Eingabe-Ausgabe-Räumen es ihnen, eine genaue Verarbeitung des Inhalts bei beliebiger Granularität zu erreichen. Zu diesem Zweck präsentieren wir UniLSeg, ein universelles Segmentierungsmodell, das unter der Anleitung sprachlicher Befehle Segmentierung auf jeder semantischen Ebene durchführen kann. Für die Ausbildung von UniLSeg ordnen wir eine Reihe von Aufgaben aus ursprünglich verschiedenen Verteilungen in ein einheitliches Datenformat um, bei dem Bilder mit Texten als Eingabe dienen, die Segmentationziele beschreiben, während entsprechende Masken als Ausgabe generiert werden. In Kombination mit einer automatischen Annotationseinrichtung zur Nutzung großer Mengen nicht annotierter Daten erzielt UniLSeg ausgezeichnete Leistungen bei verschiedenen Aufgaben und Einstellungen und übertrifft sowohl spezialisierte als auch vereinte Segmentierungsmodelle.