HyperAIHyperAI

Command Palette

Search for a command to run...

TBP-Former: Lernen einer zeitlichen Vogelperspektive-Pyramide für die gemeinsame Wahrnehmung und Vorhersage im visuellen autonomen Fahren

Fang Shaoheng ; Wang Zi ; Zhong Yiqi ; Ge Junhao ; Chen Siheng ; Wang Yanfeng

Zusammenfassung

Vision-zentrierte gemeinsame Wahrnehmung und Vorhersage (Perception and Prediction, PnP) ist zu einem aufstrebenden Trend in der Forschung zum autonomen Fahren geworden. Sie prognostiziert die zukünftigen Zustände der Verkehrsteilnehmer in der umliegenden Umgebung aus rohen RGB-Bildern. Allerdings stellt es weiterhin eine wichtige Herausforderung dar, aufgrund unvermeidlicher geometrischer Verzerrungen Merkmale, die aus mehreren Kameraperspektiven und Zeitstempeln gewonnen wurden, zu synchronisieren und diese räumlich-zeitlichen Merkmale weiter zu nutzen. Um dieses Problem anzugehen, schlagen wir einen zeitlichen Vogelperspektiv-Pyramidentransformer (Temporal Bird's-Eye-View Pyramid Transformer, TBP-Former) für vision-zentrierte PnP vor, der zwei neuartige Konzepte beinhaltet. Erstens wird ein pose-synchronisierter BEV-Codierer vorgeschlagen, um rohe Bildeingaben mit beliebiger Kameraposition zu beliebiger Zeit in einen gemeinsamen und synchronisierten Vogelperspektivraum (Bird's-Eye-View Space, BEV-Space) abzubilden, um eine bessere räumlich-zeitliche Synchronisation zu erreichen. Zweitens wird ein räumlich-zeitlicher Pyramidentransformer eingeführt, um umfassend multi-skalierte BEV-Merkmale zu extrahieren und zukünftige BEV-Zustände unter Nutzung von räumlich-zeitlichen A-priori-Wissen zu prognostizieren. Ausführliche Experimente mit dem nuScenes-Datensatz zeigen, dass unser vorgeschlagenes Framework insgesamt alle standesüblichen vision-basierten Vorhersagemethoden übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
TBP-Former: Lernen einer zeitlichen Vogelperspektive-Pyramide für die gemeinsame Wahrnehmung und Vorhersage im visuellen autonomen Fahren | Paper | HyperAI