SceneFun3D est un jeu de données d'interaction fonctionnelle de scènes 3D publié par Voxel51 en 2024. Il se concentre sur la compréhension fine des petits éléments interactifs (poignées, boutons, interrupteurs, etc.) et couvre la localisation des éléments, le raisonnement fonctionnel gibsonien, l'estimation des paramètres de mouvement et la description des tâches en langage naturel. Les articles de recherche associés sont publiés sous le titre « SceneFun3D ». Compréhension fine des fonctionnalités et des affordances dans les scènes 3D . Cet ensemble de données comprend 710 scènes d'intérieur réelles en haute résolution, contenant 14 867 annotations d'éléments d'interaction fonctionnelle, 9 catégories fonctionnelles, 14 279 paramètres de mouvement et plus de 10 913 instructions de tâches en langage naturel. Construit à partir de nuages de points issus de la numérisation laser Faro haute résolution et de séquences vidéo iPad, l'ensemble de données est divisé en un ensemble d'entraînement de 545 scènes, un ensemble de validation de 80 scènes et un ensemble de test de 85 scènes. Cette version utilise 10 scènes de chaque catégorie comme ensemble de test de référence ; les annotations fonctionnelles de l'ensemble de test ont été masquées.

Composition de l'ensemble de données :

• Regroupement des scènes : L’ensemble de données adopte une structure de données regroupées, chaque groupe correspondant à une scène indépendante, identifiée par visit_id.
• Données de nuage de points 3D : Fournit un nuage de points de numérisation laser FARO sous-échantillonné (voxel de 5 mm), comprenant des annotations d’éléments interactifs fonctionnels, des boîtes englobantes d’objets ARKit au niveau de la pièce et des descriptions de tâches.
• Données de séquence vidéo : Chaque scène est accompagnée de 2 à 3 séquences vidéo RVB haute résolution (résolution 1920 x 1440, environ 10 images/s) enregistrées sur un iPad Pro, qui comprennent également des cartes de profondeur image par image, des poses de caméra et des paramètres intrinsèques.

Champs de données :

• tranches de balayage laser : contiennent des éléments fonctionnels (boîtes de détection d’éléments fonctionnels 3D et leurs attributs), des objets 3D (boîtes d’objets ARKit) et des tâches (liste de tâches en langage naturel).
• Tranche ipad_N : contient la profondeur image par image (carte thermique de profondeur), les paramètres intrinsèques (paramètres intrinsèques de la caméra), la pose de la caméra et les éléments/objets projetés (boîtes englobantes et points clés projetés des éléments/objets 3D dans les images 2D).
• Attributs des éléments fonctionnels : Chaque boîte de détection 3D contient une étiquette (9 catégories fonctionnelles), motion_type (translation/rotation), motion_dir (direction du mouvement), motion_origin (origine du mouvement) et des descriptions (instructions de tâche).

Citation

@inproceedings{delitzas2024scenefun3d,
title={{SceneFun3D: Fine-Grained Functionality and Affordance Understanding in 3D Scenes}},
author={Delitzas, Alexandros and Takmaz, Ayca and Tombari, Federico and Sumner, Robert and Pollefeys, Marc and Engelmann, Francis},
booktitle={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2024}
}