Caractéristique Pseudo Multimodale Complémentaire pour la Détection d'Anomalies dans les Nuages de Points

La détection d'anomalies dans les nuages de points (PCD) émerge progressivement comme une zone de recherche prometteuse. Cette étude vise à améliorer les performances de la détection d'anomalies dans les PCD en combinant des descripteurs PCD conçus manuellement avec des réseaux neuronaux 2D pré-entraînés puissants. À cette fin, l'étude propose la fonctionnalité complémentaire pseudo-multimodale (CPMF) qui intègre des informations géométriques locales dans la modalité 3D en utilisant des descripteurs PCD conçus manuellement et des informations sémantiques globales dans la modalité pseudo-2D générée en utilisant des réseaux neuronaux 2D pré-entraînés. Pour l'extraction de sémantiques globales, le CPMF projette le nuage de points original dans une modalité pseudo-2D contenant des images multivues. Ces images sont ensuite transmises aux réseaux neuronaux 2D pré-entraînés pour l'extraction de fonctionnalités informatives dans la modalité 2D. Les fonctionnalités des modalités 3D et 2D sont agrégées pour obtenir le CPMF utilisé pour la détection d'anomalies dans les PCD. De nombreuses expériences montrent la capacité complémentaire entre les fonctionnalités des modalités 2D et 3D ainsi que l'efficacité du CPMF, avec un AU-ROC au niveau image de 95,15 % et un PRO au niveau pixel de 92,93 % sur le benchmark MVTec3D. Le code est disponible sur https://github.com/caoyunkang/CPMF.