EFM3D : Une base d'évaluation pour mesurer les progrès vers des modèles fondamentaux egocentriques 3D

L’avènement des ordinateurs portables ouvre la voie à une nouvelle source de contexte pour l’intelligence artificielle, intégrée dans des données sensorielles égocentriques. Ces nouvelles données égocentriques sont munies d’informations de localisation 3D à très haute résolution, offrant ainsi la possibilité de développer une nouvelle catégorie de modèles fondamentaux spatiaux ancrés dans l’espace 3D. Pour mesurer les progrès réalisés dans ce domaine, que nous désignons sous le nom de Modèles Fondamentaux Égocentriques (EFM), nous introduisons EFM3D, un benchmark comprenant deux tâches fondamentales de perception égocentrique 3D. EFM3D constitue le premier benchmark dédié à la détection d’objets 3D et à la régression de surfaces sur des données égocentriques de haute qualité issues du projet Aria. Nous proposons Egocentric Voxel Lifting (EVL), une base de référence pour les modèles EFMs 3D. EVL exploite toutes les modalités égocentriques disponibles et s’inspire des capacités fondamentales des modèles fondamentaux 2D. Entraîné sur un grand jeu de données simulées, ce modèle surpasse les méthodes existantes sur le benchmark EFM3D.