3D 포인트 클라우드에서의 상호작용적 객체 분할

우리는 사용자가 딥러닝 모델과 반복적으로 협력하여 3D 포인트 클라우드에서 객체를 직접 분할할 수 있는 대화형 접근 방식을 제안합니다. 현재의 3D 인스턴스 분할 방법은 일반적으로 완전 지도 학습 방식으로 훈련되며, 이는 많은 양의 비용이 많이 드는 훈련 라벨이 필요하며, 훈련 과정에서 보지 못한 클래스에 대해 잘 일반화되지 않습니다. 인간의 상호작용을 사용하여 3D 분할 마스크를 얻으려는 연구는 거의 이루어지지 않았습니다. 기존 방법들은 2D 이미지 영역에서 사용자 피드백에 의존합니다. 결과적으로, 사용자는 2D 이미지와 3D 표현 사이를 지속적으로 전환해야 하며, 여러 입력 모달을 결합하기 위해 특수 설계된 아키텍처가 사용됩니다. 따라서, 기존의 표준 3D 모델과의 통합은 쉽지 않습니다.본 연구의 핵심 아이디어는 사용자가 관심 있는 3D 객체(또는 배경)을 클릭하여 오픈 월드 환경에서 장면을 대화형으로 분할할 수 있도록 하는 것입니다. 구체적으로, 우리의 방법은 어떠한 타겟 도메인에서도 훈련 데이터가 필요하지 않으며, 적절한 훈련 세트가 없는 새로운 환경에 적응할 수 있습니다. 우리의 시스템은 사용자 피드백에 따라 객체 분할을 지속적으로 조정하며, 최소한의 인간 노력(객체당 몇 번의 클릭)으로 정확한 밀집 3D 분할 마스크를 생성합니다.대규모 및 다양한 3D 데이터셋을 효율적으로 라벨링하는 잠재력을 갖추고 있으며, 사용자가 직접 3D 환경과 상호작용하는 우리 접근 방식은 AR/VR 및 인간-로봇 상호작용에서 새로운 응용 프로그램을 가능하게 합니다.