Anpassung von Curriculumsmodellen mit synthetischen und realen Daten für die semantische Verstehensanalyse nebeliger Szenen

Diese Arbeit befasst sich mit dem Problem der semantischen Szeneverstehens unter Nebelbedingungen. Obwohl bei der semantischen Szeneverstehung erhebliche Fortschritte gemacht wurden, konzentriert sich die Forschung hauptsächlich auf Szenen bei klarem Wetter. Die Erweiterung von Methoden der semantischen Segmentierung auf schwierige Wetterbedingungen wie Nebel ist für Anwendungen im Freien von entscheidender Bedeutung. In diesem Artikel schlagen wir eine neue Methode vor, die Curriculum Model Adaptation (CMAda) genannt wird. Diese Methode passt ein Modell der semantischen Segmentierung schrittweise von leicht synthetischem Nebel zu dichtem echtem Nebel an, indem sowohl etikettierte synthetische neblige Daten als auch unetikettierte echte neblige Daten verwendet werden. Die Methode basiert darauf, dass die Ergebnisse der semantischen Segmentierung in moderat ungünstigen Bedingungen (leichter Nebel) zur Lösung des gleichen Problems in hochgradig ungünstigen Bedingungen (dichter Nebel) genutzt werden können. CMAda ist auf andere ungünstige Bedingungen übertragbar und bietet ein neues Paradigma für das Lernen mit synthetischen Daten und unetikettierten echten Daten.Darüber hinaus präsentieren wir drei weitere wesentliche eigenständige Beiträge:1) Eine neue Methode, um synthetischen Nebel zu realen klaren Szenen unter Verwendung semantischer Eingaben hinzuzufügen;2) Ein neuer Schätzer für die Nebeldichte;3) Eine neue Methode zur Verdichtung von Nebel in realen nebligen Szenen ohne Verwendung von Tiefendaten;4) Der Foggy Zurich Datensatz, der 3808 echte neblige Bilder enthält, wobei 40 Bilder unter dichten Nebelbedingungen pixelgenaue semantische Annotationen besitzen.Unsere Experimente zeigen, dass:1) Unsere Nebelsimulation und unser Schätzer für die Nebeldichte im Vergleich zu den aktuellen Standesder-Forschung-Methoden bei der Aufgabe des semantischen Verstehens nebliger Szenen (SFSU) überlegen sind;2) CMAda die Leistungsfähigkeit der besten verfügbaren Modelle für SFSU erheblich verbessert und sowohl von unseren synthetischen als auch von unseren echten nebligen Daten profitiert.Die Datensätze und der Code sind auf der Projektwebsite verfügbar.