Exploration de la compréhension efficace des données des scènes 3D à l’aide de contextes scéniques contrastifs

Les progrès rapides dans la compréhension des scènes 3D sont accompagnés d'une demande croissante en données ; toutefois, la collecte et l'annotation de scènes 3D (par exemple, nuages de points) sont particulièrement difficiles. Par exemple, le nombre de scènes (par exemple, pièces intérieures) accessibles et pouvant être numérisées peut être limité ; même en disposant de données suffisantes, l'acquisition d'étiquettes 3D (par exemple, masques d'instance) nécessite un effort humain considérable. Dans cet article, nous explorons l'apprentissage efficace en données pour les nuages de points 3D. En tant que première étape dans cette direction, nous proposons une méthode de pré-entraînement 3D appelée Contrastive Scene Contexts, qui exploite à la fois les correspondances au niveau des points et les contextes spatiaux au sein d'une scène. Notre méthode atteint des résultats de pointe sur une série de benchmarks où les données d'entraînement ou les étiquettes sont rares. Notre étude révèle que l'étiquetage exhaustif des nuages de points 3D pourrait être inutile ; de manière remarquable, sur ScanNet, en utilisant uniquement 0,1 % des étiquettes de points, nous parvenons à atteindre 89 % (segmentation d'instance) et 96 % (segmentation sémantique) des performances de la version de référence utilisant des annotations complètes.