La compréhension sémantique de scène est essentielle pour assurer une navigation autonome robuste et sûre, en particulier dans les environnements hors route. Bien que les avancées récentes en apprentissage profond pour la segmentation sémantique 3D reposent fortement sur de grandes quantités de données d'entraînement, les jeux de données existants pour l'autonomie représentent principalement des environnements urbains ou manquent de données multimodales en milieu hors route. Nous comblons cette lacune grâce à RELLIS-3D, un jeu de données multimodal recueilli dans un environnement hors route, comprenant des annotations pour 13 556 scans LiDAR et 6 235 images. Les données ont été collectées sur le campus Rellis de l'Université Texas A&M et posent des défis aux algorithmes existants en matière d'équilibre des classes et de topographie environnementale. En outre, nous évaluons l'état de l'art des modèles de segmentation sémantique basés sur l'apprentissage profond sur ce jeu de données. Les résultats expérimentaux montrent que RELLIS-3D représente un défi pour les algorithmes conçus pour la segmentation dans les environnements urbains. Ce nouveau jeu de données fournit aux chercheurs les ressources nécessaires pour continuer à développer des algorithmes plus avancés et explorer de nouvelles directions de recherche afin d'améliorer la navigation autonome en milieu hors route. RELLIS-3D est disponible à l'adresse suivante : https://github.com/unmannedlab/RELLIS-3D