本稿では、点群領域における自己教師学習によって得られたトランスフォーマーの特性に着目し、その性質を考察する。具体的には、マスク付き自己符号化（Masked Autoencoding）を事前学習スキームとして有効性を評価するとともに、モーメンタムコントラスト（Momentum Contrast）を代替手法として検討している。本研究では、データ量の影響が学習された特徴に与える影響を調査し、異なるドメイン間におけるトランスフォーマーの挙動の類似性を明らかにした。包括的な可視化を通じて、トランスフォーマーが意味的に有意義な領域に注目する能力を学習していることを観察した。これは、事前学習がデータの内在的な幾何構造をより深く理解する助けとなっていることを示唆している。さらに、微調整プロセスとその学習された表現への影響を検証し、モデルや学習パイプラインに他の変更を加えずに、一貫してベースラインを上回る性能を発揮するアンフリーズ戦略を提案した。この戦略により、トランスフォーマーモデルの中で分類タスクにおいて最先端の成果を達成した。