ISSAFE: Verbesserung der semantischen Segmentierung bei Unfällen durch Fusions von ereignisbasierten Daten

Die Sicherheit aller Verkehrsteilnehmer ist eine Voraussetzung dafür, intelligente Fahrzeuge näher an praktische Anwendungen heranzuführen. Das Assistenzsystem muss nicht nur unter normalen Bedingungen hohe Genauigkeit erzielen, sondern auch eine robuste Wahrnehmung in extremen Situationen gewährleisten. Verkehrsunfälle, die Objektstöße, Verformungen, Umkippen usw. beinhalten – und die in den meisten Trainingsdatensätzen bisher nicht vorkommen – beeinträchtigen die Leistung bestehender semantischer Segmentierungsmodelle erheblich. Um dieses Problem anzugehen, präsentieren wir eine bisher wenig beachtete Aufgabe im Bereich der semantischen Segmentierung in Unfallszenarien sowie einen neuen Unfall-Datensatz namens DADA-seg. Er umfasst 313 verschiedene Unfallsequenzen mit jeweils 40 Frames, deren Zeitfenster vor und während eines Verkehrsunfalls liegen. Jeder 11. Frame wurde manuell annotiert, um die Segmentierungspflege zu standardisieren. Darüber hinaus schlagen wir eine neuartige ereignisbasierte, multimodale Segmentierarchitektur namens ISSAFE vor. Unsere Experimente zeigen, dass ereignisbasierte Daten ergänzende Informationen liefern können, um die semantische Segmentierung unter ungünstigen Bedingungen zu stabilisieren, indem sie die feinkörnige Bewegung schnell bewegter Vordergrundobjekte (Unfallobjekte) in Unfällen bewahren. Unser Ansatz erreicht eine Steigerung der mIoU um +8,2 % auf dem vorgeschlagenen Evaluierungssatz und übertrifft damit mehr als 10 state-of-the-art-Segmentiermethoden. Die vorgeschlagene ISSAFE-Architektur zeigt sich konsistent wirksam für Modelle, die auf mehreren Quelldatenbanken wie Cityscapes, KITTI-360, BDD und ApolloScape trainiert wurden.