VPGNet: Netzwerk mit Leitpunktführung für die Erkennung und Klassifizierung von Fahrbahnen und Verkehrszeichen

In dieser Arbeit schlagen wir ein vereintes, von einem Fluchtpunkt geleitetes, end-to-end trainierbares Multi-Task-Netzwerk vor, das die Erkennung und Klassifizierung von Fahrbahnen und Straßemarkierungen unter schwierigen Wetterbedingungen gemeinsam bearbeitet. Wir befassen uns mit regnerischen und schlecht beleuchteten Bedingungen, die bisher aufgrund offensichtlicher Herausforderungen nicht ausführlich untersucht wurden. Zum Beispiel sind Bilder, die an Regentagen aufgenommen werden, durch schlechte Beleuchtung beeinträchtigt, während nasse Straßen Lichtreflexionen verursachen und das Erscheinungsbild von Fahrbahnen und Straßemarkierungen verzerrt. In der Nacht treten Farbverzerrungen bei begrenzter Beleuchtung auf. Als Ergebnis existiert kein Benchmark-Datensatz, und nur wenige entwickelte Algorithmen funktionieren unter ungünstigen Wetterbedingungen. Um diesen Mangel zu beheben, erstellen wir einen Benchmark für Fahrbahnen und Straßemarkierungen, der etwa 20.000 Bilder mit 17 Klassen von Fahrbahnen und Straßemarkierungen in vier verschiedenen Szenarien umfasst: trockenes Wetter, Regen, Starkregen und Nacht. Wir trainieren und evaluieren mehrere Versionen des vorgeschlagenen Multi-Task-Netzwerks und überprüfen die Bedeutung jeder Aufgabe. Der resultierende Ansatz, VPGNet (Vanishing Point Guided Network), kann Fahrbahnen und Straßemarkierungen erkennen und klassifizieren sowie einen Fluchtpunkt in einer einzigen Vorwärtsdurchlauf vorhersagen. Experimentelle Ergebnisse zeigen, dass unser Ansatz unter verschiedenen Bedingungen in Echtzeit (20 fps) eine hohe Genauigkeit und Robustheit erreicht. Der Benchmark-Datensatz sowie das VPGNet-Modell werden öffentlich zur Verfügung gestellt.