DaDe: Delay-adaptiver Detektor für Streaming-Wahrnehmung

Die Erkennung der Umgebung bei geringer Latenz ist entscheidend für autonomes Fahren. In Echtzeit ändert sich die Umgebung bereits während der Verarbeitung. Aktuelle Detektionsmodelle sind nicht in der Lage, Veränderungen in der Umgebung zu berücksichtigen, die nach Abschluss der Verarbeitung eintreten. Um die Latenz und Genauigkeit der Echtzeit-Videowahrnehmung zu bewerten, wurde der Ansatz des Streaming Perception vorgeschlagen. In der Praxis ergeben sich jedoch zusätzliche Herausforderungen aufgrund begrenzter Hardware-Ressourcen, hoher Temperaturen und weiterer Faktoren. In dieser Studie entwickeln wir ein Modell, das Verzögerungen während der Verarbeitung in Echtzeit widerspiegelt und den dennoch vernünftigsten Ergebnisoutput liefert. Durch die Integration des vorgeschlagenen Feature-Queue- und Feature-Select-Moduls verfügt das System über die Fähigkeit, bestimmte Zeitschritte vorherzusagen, ohne zusätzlichen Rechenaufwand zu verursachen. Unsere Methode wurde auf dem Argoverse-HD-Datensatz getestet und erzielt bei verzögerten Bedingungen eine höhere Leistung als die derzeitigen Stand der Technik (Stand Dezember 2022) in verschiedenen Umgebungen. Der Quellcode ist unter https://github.com/danjos95/DADE verfügbar.