Évaluation de la robustesse de la reconnaissance de nuages de points 3D face aux perturbations courantes

Les réseaux neuronaux profonds appliqués aux nuages de points 3D sont largement utilisés dans le monde réel, notamment dans des applications critiques pour la sécurité. Toutefois, leur robustesse face aux perturbations reste peu étudiée. Dans cet article, nous présentons ModelNet40-C, le premier benchmark complet dédié à l’évaluation de la robustesse des nuages de points 3D face aux corruptions, comprenant 15 types courants et réalistes de perturbations. Nos expérimentations révèlent un écart important entre les performances des modèles d’état de l’art (SOTA) sur ModelNet40 et sur ModelNet40-C. Afin de réduire cet écart, nous proposons une méthode simple mais efficace, combinant PointCutMix-R et TENT, après une évaluation approfondie de diverses stratégies d’augmentation de données et d’adaptation en temps de test. Nous identifions plusieurs pistes cruciales pour les futures recherches sur la robustesse face aux corruptions dans la reconnaissance de nuages de points. Par exemple, nous démontrons que les architectures basées sur les Transformers, lorsqu’elles sont entraînées avec des recettes adaptées, offrent la meilleure robustesse. Nous espérons que notre analyse approfondie incitera le développement de stratégies d’entraînement robustes ou de nouvelles architectures spécifiquement conçues pour le domaine des nuages de points 3D. Notre code source et le jeu de données sont disponibles à l’adresse suivante : https://github.com/jiachens/ModelNet40-C