2달 전

인스턴스 인식 동적 프롬프트 튜닝을 통한 사전 학습 포인트 클라우드 모델의 개선

Zha, Yaohua ; Wang, Jinpeng ; Dai, Tao ; Chen, Bin ; Wang, Zhi ; Xia, Shu-Tao
인스턴스 인식 동적 프롬프트 튜닝을 통한 사전 학습 포인트 클라우드 모델의 개선
초록

事전 학습된 포인트 클라우드 모델은 객체 분류 및 부품 세분화와 같은 3D 이해 작업에서 광범위한 응용을 찾고 있습니다. 그러나 하류 작업에서 전체 미세 조정(full fine-tuning) 전략이 주로 사용되면서 모델 매개변수의 작업별 저장 공간 과부하가 커져, 대규모 사전 학습 모델의 적용 효율성을 제한하고 있습니다. 최근 시각 프롬프트 조정(Visual Prompt Tuning, VPT)의 성공에 영감을 받아, 본 논문에서는 사전 학습된 포인트 클라우드 모델에서 프롬프트 조정(prompt tuning)을 탐구하여 성능과 매개변수 효율성 사이의 우아한 균형을 추구합니다. 우리는 인스턴스 무관(instance-agnostic) 정적 프롬프팅, 예를 들어 VPT가 하류 전송(downstream transfer)에서 일정한 효과를 보이는 것을 발견했습니다. 하지만 이 방법은 실제 세계 포인트 클라우드 데이터에 존재하는 다양한 노이즈로 인해 발생하는 분포 다양성(distribution diversity)에 취약하다는 점을 확인하였습니다. 이러한 한계를 극복하기 위해, 우리는 사전 학습된 포인트 클라우드 모델을 위한 새로운 인스턴스 인식 동적 프롬프트 조정(Instance-aware Dynamic Prompt Tuning, IDPT) 전략을 제안합니다. IDPT의 핵심은 각 포인트 클라우드 인스턴스의 의미적 사전 정보(semantic prior features)를 인식하고 적응형 프롬프트 토큰(adaptive prompt tokens)을 생성하여 모델의 강건성을 향상시키는 동적 프롬프트 생성 모듈(dynamic prompt generation module)을 개발하는 것입니다. 특히, 광범위한 실험 결과가 IDPT가 단지 7%의 학습 가능한 매개변수만으로 대부분의 작업에서 전체 미세 조정(full fine-tuning)보다 우수함을 입증하며, 사전 학습된 포인트 클라우드 모델에 대한 매개변수 효율적인 학습(parameter-efficient learning) 해결책으로 유망함을 보여줍니다. 코드는 \url{https://github.com/zyh16143998882/ICCV23-IDPT}에서 제공됩니다.