Dans cet article, nous explorons les propriétés des transformateurs, apprises grâce à une auto-supervision, dans le domaine des nuages de points. Plus précisément, nous évaluons l'efficacité du masquage auto-encodé comme méthode de pré-entraînement, tout en explorant la Contraste par Momentum comme alternative. Dans notre étude, nous analysons l'impact de la quantité de données sur les caractéristiques apprises, et mettons en évidence des similitudes dans le comportement du transformateur à travers différents domaines. À travers des visualisations approfondies, nous observons que le transformateur apprend à accorder une attention aux régions sémantiquement significatives, ce qui indique que le pré-entraînement favorise une meilleure compréhension de la géométrie sous-jacente. Par ailleurs, nous examinons le processus de fine-tuning et son effet sur les représentations apprises. À partir de ces observations, nous proposons une stratégie d’« unfreezing » qui surpassent de manière cohérente notre modèle de référence, sans nécessiter d'autres modifications au modèle ou au pipeline d’entraînement, et atteignons ainsi des résultats de pointe dans la tâche de classification parmi les modèles basés sur des transformateurs.