Sicherheitsgesteigertes Autonomes Fahren mit Interpretierbarem Sensorfusionstransformer

Die großflächige Einführung autonomer Fahrzeuge wird seit Langem aufgrund von Sicherheitsbedenken verzögert. Zum einen ist eine umfassende Szenenerkennung unerlässlich; deren Fehlen würde zu Schwachstellen bei seltenen, aber komplexen Verkehrssituationen führen, wie zum Beispiel dem plötzlichen Auftauchen unbekannter Objekte. Zum anderen erfordert das Schließen aus einem globalen Kontext den Zugriff auf Sensoren verschiedener Arten und eine angemessene Fusion multimodaler Sensorsignale, was schwierig zu realisieren ist. Darüber hinaus behindert der Mangel an Interpretierbarkeit in Lernmodellen die Sicherheit durch nicht verifizierbare Ausfallursachen.In dieser Arbeit schlagen wir ein sicherheitsverstärktes autonomen Fahrsystem vor, das als Interpretable Sensor Fusion Transformer (InterFuser) bezeichnet wird. Dieses System verarbeitet und fusioniert Informationen von multimodalen, multiview-Sensoren vollständig, um sowohl eine umfassende Szenenerkennung als auch die Detektion feindseliger Ereignisse zu erreichen. Zudem generiert unser Framework zwischenzeitliche interpretierbare Merkmale, die zusätzliche Semantik liefern und genutzt werden, um Aktionen besser innerhalb sicherer Mengen einzuschränken.Wir haben umfangreiche Experimente anhand der CARLA-Benchmarks durchgeführt, bei denen unser Modell frühere Methoden übertrifft und den ersten Platz im öffentlichen CARLA-Leaderboard belegt. Unser Code wird unter https://github.com/opendilab/InterFuser zur Verfügung gestellt.