Segmentation LiDAR à 360° à partir d'une seule caméra : une approche few-shot

Les applications du deep learning sur des données LiDAR souffrent d’un fort écart de domaine lorsqu’elles sont appliquées à des capteurs ou des tâches différents. Afin que ces méthodes atteignent une précision similaire sur des données variées, comparativement aux résultats rapportés sur les benchmarks publics, un ensemble de données annotées à grande échelle est nécessaire. Toutefois, dans les applications pratiques, les données étiquetées sont coûteuses et longues à obtenir. Ces contraintes ont stimulé de nombreuses recherches sur des méthodes efficaces en étiquetage, mais un écart important persiste par rapport aux méthodes entièrement supervisées. Ainsi, nous proposons ImageTo360, une approche efficace et simplifiée en peu d’exemples pour la segmentation LiDAR à faible coût d’étiquetage. Notre méthode utilise un réseau enseignant basé sur des images pour générer des prédictions sémantiques sur des données LiDAR à partir d’une seule vue caméra. L’enseignant sert à pré-entraîner le réseau étudiant dédié à la segmentation LiDAR, avant un éventuel ajustement fin sur des données à 360°. Notre méthode est mise en œuvre de manière modulaire au niveau des points, ce qui la rend généralisable à différentes architectures. Nous surpassons les résultats actuels de l’état de l’art pour les méthodes efficaces en étiquetage, et même certains réseaux de segmentation traditionnels entièrement supervisés.