4ヶ月前

スペクトル領域におけるパラメータ効率的なファインチューニングによる点群学習

Liang, Dingkang ; Feng, Tianrui ; Zhou, Xin ; Zhang, Yumeng ; Zou, Zhikang ; Bai, Xiang
スペクトル領域におけるパラメータ効率的なファインチューニングによる点群学習
要約

最近、事前学習技術を活用して点群モデルの性能を向上させることが研究のホットトピックとなっています。しかし、既存のアプローチでは、下流タスクで満足できる性能を得るためには通常、事前学習済みモデルの完全微調整が必要であり、これには大量のストレージと計算リソースが伴います。この問題に対処するため、我々は新しいパラメータ効率的な微調整(PEFT)手法であるPointGST(Point cloud Graph Spectral Tuning)を提案します。PointGSTは事前学習済みモデルを固定し、軽量で学習可能なPoint Cloud Spectral Adapter (PCSA)を導入することで、スペクトル領域でのパラメータ微調整を行います。この手法の中心的なアイデアは以下の2つの観察に基づいています:1) 固定されたモデルからの内部トークンは空間領域で混乱を引き起こす可能性がある;2) タスク固有の内在情報は一般的な知識を下流タスクに移転するために重要である。具体的には、PointGSTは点トークンを空間領域からスペクトル領域へ移転させることで、直交成分を使用してトークン間の混乱を効果的に解消します。さらに、生成されるスペクトル基底には下流点群に関する内在情報が含まれており、より対象的な微調整が可能となります。その結果、PointGSTは一般的な知識を効率的に下流タスクに移転させつつ、訓練コストを大幅に削減することができます。様々な課題における挑戦的な点群データセットに対する広範な実験により、PointGSTは完全微調整版よりも優れた性能を示すだけでなく、学習可能なパラメータ数も大幅に削減されると証明されました。これは効率的な点群学習への有望な解決策となることを示しています。具体的には、堅牢なベースラインに対して+2.28%、1.16%、および2.78%の改善が見られ、それぞれScanObjNN OBJ BG, OBJ OBLY, およびPB T50 RSデータセットにおいて99.48%、97.76%、および96.18%の精度が達成されました。この進歩により新たな最先端技術が確立されましたが、使用した学習可能なパラメータ数はわずか0.67%でした。

スペクトル領域におけるパラメータ効率的なファインチューニングによる点群学習 | 論文 | HyperAI超神経