Point-JEPA : Une Architecture Prédictive de Plongement Conjugué pour l'Apprentissage Auto-Supervisé sur les Nuages de Points

Les récentes avancées dans l'apprentissage auto-supervisé dans le domaine des nuages de points ont démontré un potentiel significatif. Cependant, ces méthodes souffrent souvent de plusieurs inconvénients, tels que des temps de pré-entraînement longs, la nécessité de reconstruire dans l'espace d'entrée ou la nécessité d'utiliser des modalités supplémentaires. Pour remédier à ces problèmes, nous présentons Point-JEPA, une architecture prédictive d'embedding conjoint spécifiquement conçue pour les données de nuages de points. À cette fin, nous introduisons un séquenceur qui ordonne les plongements (embeddings) de patches de nuages de points afin de calculer et d'utiliser efficacement leur proximité basée sur les indices lors de la sélection des cibles et du contexte. Le séquenceur permet également des calculs partagés de la proximité des plongements (embeddings) de patches entre la sélection du contexte et celle des cibles, ce qui améliore encore davantage l'efficacité. Expérimentalement, notre méthode obtient des résultats compétitifs par rapport aux méthodes les plus avancées actuellement disponibles tout en évitant la reconstruction dans l'espace d'entrée ou l'utilisation de modalités supplémentaires.