3D AffordanceNet: 시각적 객체 어포던스 이해를 위한 벤치마크

시각적 힌트를 통해 물체와 상호작용하는 방법을 이해하는 능력, 즉 시각적 활용 가능성(visual affordance)은 시각 지도 로봇 연구에 필수적입니다. 이는 시각적 활용 가능성을 범주화, 분할하고 추론하는 과정을 포함합니다. 이전에는 2D 및 2.5D 이미지 영역에서 관련 연구가 이루어졌지만, 물체의 활용 가능성에 대한 진정한 기능적인 이해는 3D 물리 영역에서 학습과 예측이 필요하며, 이 부분은 아직 커뮤니티에서 부족합니다.본 연구에서는 23개의 의미론적 물체 범주에서 23,000개의 모양을 포함하고 있으며, 18개의 시각적 활용 가능성 범주로 주석이 달린 3D AffordanceNet 데이터셋을 제시합니다. 이 데이터셋을 기반으로 전체 모양(full-shape), 부분 시점(partial-view) 및 회전 불변성(rotation-invariant) 활용 가능성 추정을 평가하기 위한 세 가지 벤치마크 작업을 제공합니다. 최신의 세 가지 포인트 클라우드 딥러닝 네트워크가 모든 작업에서 평가되었습니다. 또한 우리는 비지도 데이터로부터 혜택을 받을 수 있는 가능성을 탐구하기 위해 반지도 학습 설정(semi-supervised learning setup)도 조사하였습니다.우리가 제공한 데이터셋에 대한 포괄적인 결과는 시각적 활용 가능성 이해가 가치 있고 도전적인 벤치마크로서의 잠재력을 보여줍니다.