InternScenes : un jeu de données à grande échelle de scènes intérieures simulables avec des aménagements réalistes

Les progrès de l’intelligence artificielle incarnée (Embodied AI) reposent fortement sur des jeux de données 3D à grande échelle, simulables, caractérisés par une grande diversité de scènes et des aménagements réalistes. Toutefois, les jeux de données existants souffrent généralement de limitations en matière d’échelle ou de diversité, de plans d’aménagement simplifiés, dépourvus d’objets de petite taille, et de collisions d’objets importantes. Pour remédier à ces défauts, nous introduisons InternScenes, un nouveau jeu de données à grande échelle, simulable, de scènes intérieures, comprenant environ 40 000 scènes diversifiées, obtenues par l’intégration de trois sources de scènes distinctes : des scans du monde réel, des scènes générées procéduralement et des scènes créées par des designers. Ce jeu de données inclut 1,96 million d’objets 3D, couvre 15 types de scènes courants et 288 catégories d’objets. Nous avons particulièrement préservé une grande quantité d’objets de petite taille, permettant d’obtenir des aménagements réalistes et complexes, avec une moyenne de 41,5 objets par région. Notre pipeline complet de traitement des données garantit la simulabilité en créant des répliques « réel → simulation » pour les scans du monde réel, améliore l’interactivité en intégrant des objets interactifs dans les scènes, et résout les collisions d’objets grâce à des simulations physiques. Nous démontrons la valeur d’InternScenes à travers deux applications de référence : la génération de disposition de scènes et la navigation vers un point-objectif. Ces deux tâches mettent en évidence les nouveaux défis posés par les aménagements complexes et réalistes. Plus important encore, InternScenes ouvre la voie à une augmentation de l’échelle de l’entraînement des modèles pour ces deux tâches, rendant ainsi possible la génération et la navigation dans des scènes aussi complexes. Nous nous engageons à rendre disponible publiquement les données, les modèles et les benchmarks afin de bénéficier à l’ensemble de la communauté.