YOLOP: You Only Look Once für die panoptische Fahrzeugwahrnehmung

Ein panoramisches Fahrzeugwahrnehmungssystem ist ein wesentlicher Bestandteil des autonomen Fahrens. Ein hochpräzises und Echtzeit-Wahrnehmungssystem kann dem Fahrzeug bei der Fahrt helfen, vernünftige Entscheidungen zu treffen. Wir stellen ein panoramisches Fahrzeugwahrnehmungsnetzwerk (YOLOP) vor, das gleichzeitig die Erkennung von Verkehrsteilnehmern, die Segmentierung von fahrbaren Bereichen und die Erkennung von Fahrbahnen durchführt. Es besteht aus einem Encoder zur Merkmalsextraktion und drei Decodern zur Bearbeitung der spezifischen Aufgaben. Unser Modell erzielt außergewöhnlich gute Ergebnisse auf dem anspruchsvollen BDD100K-Datensatz, indem es den aktuellen Stand der Technik in Bezug auf Genauigkeit und Geschwindigkeit bei allen drei Aufgaben erreicht. Darüber hinaus verifizieren wir die Effektivität unseres Multi-Task-Lernmodells für gemeinsames Training durch ablativen Studien. Nach unserem besten Wissen ist dies die erste Arbeit, die diese drei visuellen Wahrnehmungsaufgaben gleichzeitig in Echtzeit auf einem eingebetteten Gerät wie dem Jetson TX2 (23 FPS) verarbeitet und dabei eine ausgezeichnete Genauigkeit beibehält. Um weitere Forschungen zu fördern, haben wir den Quellcode und die vortrainierten Modelle unter https://github.com/hustvl/YOLOP veröffentlicht.