HS3: Lernen mit angemessener Aufgabenkomplexität in hierarchisch überwachter semantischer Segmentierung

Obwohl tief supervidierte Netzwerke in der jüngsten Literatur verbreitet sind, werden ihnen typischerweise identische Lernziele auf allen Übergangsschichten auferlegt, unabhängig von deren unterschiedlichen Repräsentationskapazitäten. In diesem Paper stellen wir Hierarchisch supervidierte semantische Segmentierung (HS3) vor, ein Trainingsverfahren, das die Zwischenschichten eines Segmentierungsnetzwerks durch variierende Aufgabenkomplexität dazu anleitet, sinnvolle Repräsentationen zu erlernen. Um eine konsistente Abwägung zwischen Leistung und Komplexität über das gesamte Netzwerk hinweg zu gewährleisten, leiten wir verschiedene Mengen von Klassenclustern ab, um jeweils jede Übergangsschicht zu supervidieren. Darüber hinaus entwickeln wir einen Fusionsrahmen, HS3-Fuse, um die hierarchisch erzeugten Merkmale dieser Schichten zu aggregieren, wodurch reichhaltige semantische Kontexte entstehen und die endgültige Segmentierung weiter verbessert wird. Umfangreiche Experimente zeigen, dass unser vorgeschlagenes HS3-Verfahren die herkömmliche tiefe Supervision erheblich übertrifft, ohne zusätzlichen Inferenzaufwand zu verursachen. Der vorgeschlagene HS3-Fuse-Framework verbessert die Segmentierungsvorhersagen weiter und erreicht state-of-the-art-Ergebnisse auf zwei großen Segmentierungsbenchmarks: NYUD-v2 und Cityscapes.