PCT : Transformateur de nuage de points

Le domaine irrégulier et l’absence d’ordre rendent difficile la conception de réseaux neuronaux profonds pour le traitement des nuages de points. Ce papier présente un cadre novateur nommé Point Cloud Transformer (PCT) dédié à l’apprentissage sur les nuages de points. Le PCT repose sur l’architecture Transformer, qui a connu un succès considérable dans le traitement du langage naturel et montre un potentiel prometteur dans le traitement d’images. Il est intrinsèquement invariant par permutation lors du traitement d’une séquence de points, ce qui le rend particulièrement adapté à l’apprentissage sur les nuages de points. Pour mieux capturer le contexte local au sein du nuage de points, nous améliorons l’embedding d’entrée grâce à l’exploitation de l’échantillonnage par point le plus éloigné (farthest point sampling) et de la recherche des plus proches voisins (nearest neighbor search). Des expériences étendues démontrent que le PCT atteint des performances de pointe sur des tâches telles que la classification de formes, la segmentation des parties et l’estimation des normales.