2ヶ月前
インスタンス認識型動的プロンプトチューニングによる事前学習済み点群モデルの最適化
Zha, Yaohua ; Wang, Jinpeng ; Dai, Tao ; Chen, Bin ; Wang, Zhi ; Xia, Shu-Tao

要約
事前学習された点群モデルは、物体分類や部位セグメンテーションなどの3次元理解タスクに広範な応用が見つかっています。しかし、下流タスクでの完全ファインチューニングという一般的な戦略は、各タスクのモデルパラメータに対する大規模なストレージ負荷を引き起こし、大規模事前学習モデルの適用効率を制限しています。最近の視覚プロンプトチューニング(VPT)の成功に着想を得て、本論文では事前学習された点群モデルにおけるプロンプトチューニングを探求し、性能とパラメータ効率性との間で優雅なバランスを追求します。我々は、インスタンス非依存的な静的なプロンプティング(例:VPT)が下流転送において一定の効果を示す一方で、実世界の点群データに含まれる様々なノイズによって引き起こされる分布多様性に対して脆弱であることを発見しました。この制約を克服するため、我々は新たなインスタンス依存的な動的プロンプトチューニング(IDPT)戦略を提案します。IDPTの本質は、動的プロンプト生成モジュールを開発し、各点群インスタンスの意味論的先験特徴を認識して適応的なプロンプトトークンを生成することで、モデルの堅牢性を向上させることです。特に、多数の実験結果から、IDPTはわずか7%の学習可能なパラメータでほとんどのタスクにおいて完全ファインチューニングを超える性能を示しており、事前学習された点群モデルに対するパラメータ効率的な学習手法として有望な解決策となっています。コードは \url{https://github.com/zyh16143998882/ICCV23-IDPT} から入手可能です。