Command Palette
Search for a command to run...
Where2comm: Kommunikationseffiziente kooperative Wahrnehmung mittels räumlicher Vertrauenskarten
Where2comm: Kommunikationseffiziente kooperative Wahrnehmung mittels räumlicher Vertrauenskarten
Yue Hu Shaoheng Fang Zixing Lei Yiqi Zhong Siheng Chen
Zusammenfassung
Mehragenten-basierte kooperative Wahrnehmung könnte die Leistung der Wahrnehmung erheblich steigern, indem sie Agenten ermöglicht, sich ergänzende Informationen über Kommunikation auszutauschen. Dies führt unvermeidlich zu einem grundlegenden Kompromiss zwischen Wahrnehmungsleistung und Kommunikationsbandbreite. Um dieses Engpassproblem zu lösen, schlagen wir eine räumliche Vertrauenskarte vor, die die räumliche Heterogenität wahrnehmbarer Informationen widerspiegelt. Diese ermöglicht es den Agenten, nur räumlich spärliche, jedoch wahrnehmungsrelevante Informationen auszutauschen und somit gezielt zu bestimmen, wo kommuniziert werden soll. Auf Basis dieser neuartigen räumlichen Vertrauenskarte präsentieren wir Where2comm, einen kommunikationseffizienten Rahmen für kooperative Wahrnehmung. Where2comm weist zwei wesentliche Vorteile auf: i) Er berücksichtigt pragmatische Kompression und erreicht durch Fokussierung auf wahrnehmungsrelevante Bereiche eine höhere Wahrnehmungsleistung bei geringerem Kommunikationsaufwand; ii) Er kann variierende Kommunikationsbandbreiten bewältigen, indem er dynamisch die räumlichen Bereiche anpasst, die an der Kommunikation beteiligt sind. Zur Evaluierung von Where2comm betrachten wir die 3D-Objekterkennung sowohl in realen als auch in simulierten Szenarien mit zwei Modalitäten (Kamera/LiDAR) und zwei Agententypen (Autos/Drohnen) an vier Datensätzen: OPV2V, V2X-Sim, DAIR-V2X und unserem eigenen CoPerception-UAVs. Where2comm übertrifft konsistent die vorherigen Methoden; beispielsweise erreicht es eine Kommunikationsmenge um mehr als 100000× geringer und bleibt dennoch leistungsfähiger als DiscoNet und V2X-ViT auf OPV2V. Unser Quellcode ist unter https://github.com/MediaBrain-SJTU/where2comm verfügbar.