PointGPT : Pré-entraînement génératif auto-régressif à partir de nuages de points

Les grands modèles de langage (LLMs) basés sur le transformateur pré-entraîné génératif (GPT) ont démontré une efficacité remarquable dans une gamme diversifiée de tâches en aval. Inspirés par les avancées du GPT, nous présentons PointGPT, une nouvelle approche qui étend le concept de GPT aux nuages de points, en abordant les défis liés aux propriétés d'ordre aléatoire, à la faible densité d'information et aux écarts entre les tâches. Plus précisément, une tâche de génération auto-régressive de nuages de points est proposée pour pré-entraîner les modèles de transformateur. Notre méthode divise le nuage de points d'entrée en plusieurs patches de points et les organise dans une séquence ordonnée en fonction de leur proximité spatiale. Ensuite, un décodeur de transformateur basé sur un extracteur-générateur, avec une stratégie de masquage double, apprend des représentations latentes conditionnées par les patches de points précédents, visant à prédire le suivant d'une manière auto-régressive. Notre approche évolutrice permet l'apprentissage de modèles à grande capacité qui généralisent bien, atteignant des performances d'état de l'art sur diverses tâches en aval. En particulier, notre approche obtient des précisions de classification de 94,9 % sur l'ensemble de données ModelNet40 et 93,4 % sur l'ensemble de données ScanObjectNN, surpassant tous les autres modèles de transformateur. De plus, notre méthode atteint également des nouvelles précisions d'état de l'art sur les quatre benchmarks d'apprentissage par apprentissage faiblement supervisé (few-shot learning).