Simple-BEV : Qu'est-ce qui compte vraiment pour la perception BEV multi-capteurs ?

La construction de systèmes de perception 3D pour véhicules autonomes qui ne dépendent pas de LiDAR à haute densité est un problème de recherche crucial en raison du coût élevé des systèmes LiDAR par rapport aux caméras et à d'autres capteurs. Des recherches récentes ont développé une variété de méthodes basées uniquement sur les caméras, où les caractéristiques sont différenciellement « relevées » des images multicaméra vers le plan de sol 2D, produisant une représentation des caractéristiques sous forme de vue aérienne (BEV) de l'espace 3D autour du véhicule. Cette ligne de recherche a engendré diverses méthodes de « relevage » innovantes, mais nous constatons que d'autres détails dans les configurations d'entraînement ont également évolué, ce qui rend incertain ce qui compte vraiment dans les méthodes les plus performantes. Nous observons également que l'utilisation exclusive des caméras n'est pas une contrainte réelle, étant donné que des capteurs supplémentaires comme le radar ont été intégrés dans les véhicules réels depuis plusieurs années déjà. Dans cet article, nous tentons tout d'abord d'éclaircir les facteurs à fort impact dans la conception et le protocole d'entraînement des modèles de perception BEV. Nous découvrons que la taille du lot (batch size) et la résolution d'entrée influencent considérablement les performances, tandis que les stratégies de relevage ont un effet plus modeste -- même un relevage simple sans paramètre fonctionne bien. Ensuite, nous montrons que les données radar peuvent apporter une amélioration substantielle des performances, aidant à combler l'écart entre les systèmes basés uniquement sur les caméras et ceux équipés de LiDAR. Nous analysons les détails de l'utilisation du radar qui conduisent à de bonnes performances et invitons la communauté à reconsidérer cette partie souvent négligée du dispositif sensoriel.