3D Medical Point Transformer : Introduction de la convolution aux réseaux d'attention pour l'analyse des nuages de points médicaux

Les nuages de points généraux ont été de plus en plus étudiés pour différentes tâches, et récemment des réseaux basés sur les Transformers ont été proposés pour l'analyse des nuages de points. Cependant, il existe très peu d'études relatives aux nuages de points médicaux, qui sont essentiels pour la détection et le traitement des maladies. Dans ce travail, nous proposons un modèle basé sur l'attention spécifiquement conçu pour les nuages de points médicaux, nommé 3D Medical Point Transformer (3DMedPT), afin d'examiner les structures biologiques complexes. En augmentant les informations contextuelles et en résumant les réponses locales à la requête, notre module d'attention peut capturer à la fois les interactions entre les caractéristiques locales et globales. Cependant, le nombre insuffisant d'échantillons d'entraînement dans les données médicales peut entraîner une mauvaise apprentissage des caractéristiques ; nous utilisons donc des plongements positionnels pour apprendre une géométrie locale précise et le Raisonnement Multi-Graph (MGR) pour examiner la propagation de connaissances globales sur les graphes de canaux afin d'enrichir les représentations de caractéristiques. Les expériences menées sur le jeu de données IntrA démontrent la supériorité du 3DMedPT, où nous obtenons les meilleurs résultats en classification et segmentation. De plus, la capacité prometteuse de généralisation de notre méthode est validée sur des benchmarks généraux de nuages de points 3D : ModelNet40 et ShapeNetPart. Le code est rendu disponible.