PointDAN : Un réseau de adaptation de domaine 3D à multiples échelles pour la représentation de nuages de points

Les méthodes d’adaptation de domaine (Domain Adaptation, DA) ont permis des progrès significatifs dans un large éventail de tâches d’apprentissage automatique et de vision par ordinateur (par exemple, classification, détection et segmentation). Toutefois, à notre connaissance, très peu de méthodes ont jusqu’à présent permis d’appliquer l’adaptation de domaine directement sur des données de nuages de points 3D. Le défi particulier posé par ces données réside dans l’abondance d’informations géométriques spatiales, dont la sémantique globale de l’objet provient de la combinaison de structures géométriques régionales. En effet, la plupart des méthodes générales d’adaptation de domaine, qui peinent à aligner les caractéristiques globales tout en ignorant les informations géométriques locales, ne sont pas adaptées à l’alignement de domaines en 3D. Dans cet article, nous proposons un nouveau réseau d’adaptation de domaine 3D pour les nuages de points, nommé PointDAN. PointDAN aligne conjointement les caractéristiques globales et locales à plusieurs niveaux. Pour l’alignement local, nous introduisons un module de nœud auto-adaptatif (Self-Adaptive, SA) doté d’un champ réceptif ajusté, permettant de modéliser efficacement les structures locales discriminantes afin d’aligner les domaines. Pour représenter des caractéristiques hiérarchiques à différentes échelles, un module d’attention sur les nœuds est également introduit afin de pondérer les relations entre les nœuds SA à travers les objets et les domaines. Pour l’alignement global, une stratégie d’entraînement adversaire est employée pour apprendre et aligner les caractéristiques globales entre domaines. Étant donné l’absence d’un benchmark d’évaluation standardisé pour les scénarios d’adaptation de domaine sur nuages de points 3D, nous avons construit un benchmark général (PointDA-10), extrait de trois jeux de données 3D populaires (ModelNet, ShapeNet et ScanNet), dédié à la classification croisée d’objets 3D. Des expériences étendues sur PointDA-10 démontrent l’avantage de notre modèle par rapport aux méthodes d’adaptation de domaine de pointe actuelles.