Ko- auftretende Merkmale in der semantischen Segmentierung

Kürzliche Arbeiten haben erheblichen Erfolg bei der Nutzung globaler kontextueller Informationen für die semantische Segmentierung erzielt, beispielsweise durch Erweiterung des Empfindlichkeitsfeldes und Aggregation hierarchischer Merkmalsdarstellungen. In diesem Artikel gehen wir über den globalen Kontext hinaus und untersuchen fein granulare Darstellungen mittels ko-ko-erster Merkmale, indem wir das Co-occurrent Feature Model einführen, das die Verteilung ko-ko-erster Merkmale für ein gegebenes Ziel vorhersagt. Um den semantischen Kontext in den ko-ko-ersten Merkmalen auszunutzen, bauen wir ein aggregiertes ko-ko-erstes Merkmalsmodul (Aggregated Co-occurrent Feature, ACF-Modul) durch Aggregation der Wahrscheinlichkeit der ko-ko-ersten Merkmale mit dem zugehörigen ko-ko-ersten Kontext. Das ACF-Modul lernt eine fein granulare, rauminvariante Darstellung, um ko-ko-erste Kontextinformationen über die gesamte Szene hinweg zu erfassen. Unser Ansatz verbessert die Segmentierungsergebnisse erheblich bei Verwendung von FCN und erzielt hervorragende Leistungen mit 54,0 % mIoU auf dem Pascal Context-Datensatz, 87,2 % mIoU auf dem Pascal VOC 2012-Datensatz und 44,89 % mIoU auf dem ADE20K-Datensatz. Der Quellcode und das vollständige System werden nach der Veröffentlichung öffentlich zugänglich sein.