Pré-entraînement de nuages de points avec des structures 3D naturelles

La construction de jeux de données de nuages de points 3D nécessite une quantité importante d’efforts humains. Par conséquent, la création d’un jeu de données volumineux de nuages de points 3D s’avère particulièrement difficile. Afin de remédier à ce problème, nous proposons une base de données nouvelle et innovante de nuages de points fractals (PC-FractalDB), une famille originale de données pilotées par des formules, inspirée de la géométrie fractale observée dans les structures 3D naturelles, et conçue pour l’apprentissage supervisé. Notre recherche repose sur l’hypothèse selon laquelle il est possible d’apprendre des représentations plus proches du monde réel que celles obtenues à partir des jeux de données 3D conventionnels, en exploitant la géométrie fractale. Nous démontrons comment PC-FractalDB facilite la résolution de plusieurs problèmes récents liés aux jeux de données dans le domaine de la compréhension des scènes 3D, tels que la collecte de modèles 3D ou l’annotation manuelle intensive. La section expérimentale montre que nous avons atteint des taux de performance atteignant respectivement 61,9 % et 59,0 % sur les jeux de données ScanNetV2 et SUN RGB-D, surpassant ainsi les meilleurs résultats actuels obtenus avec PointContrast, les contextes scéniques contrastifs (CSC) et RandomRooms. De plus, le modèle pré-entraîné sur PC-FractalDB s’avère particulièrement efficace dans les scénarios d’entraînement avec des données limitées. Par exemple, avec seulement 10 % des données d’entraînement sur ScanNetV2, le modèle VoteNet pré-entraîné sur PC-FractalDB atteint 38,3 %, soit une amélioration de 14,8 points de pourcentage par rapport à CSC. Notons particulièrement que notre méthode obtient les meilleurs résultats actuels pour le pré-entraînement en détection d’objets 3D dans des situations de données de nuages de points limitées.