Where2comm : Perception collaborative efficace en communication grâce aux cartes de confiance spatiale

La perception collaborative multi-agents peut considérablement améliorer les performances de perception en permettant aux agents de partager des informations complémentaires par communication. Cela entraîne inévitablement un compromis fondamental entre la performance de perception et la bande passante de communication. Pour surmonter ce goulot d’étranglement, nous proposons une carte de confiance spatiale, qui reflète l’hétérogénéité spatiale des informations de perception. Cette carte permet aux agents de ne partager que des informations spatialement rares mais perceptuellement critiques, indiquant ainsi précisément où communiquer. À partir de cette nouvelle carte de confiance spatiale, nous introduisons Where2comm, un cadre de perception collaborative efficace en communication. Where2comm présente deux avantages distincts : i) il intègre une compression pragmatique en se concentrant sur les zones perceptuellement critiques, permettant d’atteindre une meilleure performance de perception avec moins de communication ; ii) il peut s’adapter à des bandes passantes de communication variables en ajustant dynamiquement les zones spatiales impliquées dans la communication. Pour évaluer Where2comm, nous considérons la détection d’objets 3D dans des scénarios réels et simulés, avec deux modalités (caméra/LiDAR) et deux types d’agents (voitures/drones), sur quatre jeux de données : OPV2V, V2X-Sim, DAIR-V2X et notre jeu de données original CoPerception-UAVs. Where2comm surpasse de manière cohérente les méthodes antérieures ; par exemple, il réduit le volume de communication de plus de $100\,000\times$ tout en surpassant DiscoNet et V2X-ViT sur OPV2V. Le code est disponible à l’adresse suivante : https://github.com/MediaBrain-SJTU/where2comm.