20일 전
3D 그래프 신경망을 이용한 RGBD 세그멘테이션
{Raquel Urtasun, Xiaojuan Qi, Sanja Fidler, Jiaya Jia, Renjie Liao}

초록
RGBD 세밀 분할은 2차원 외형 정보와 3차원 기하학적 정보에 대한 종합적인 추론을 필요로 한다. 본 논문에서는 3차원 포인트 클라우드 위에 k-가장 가까운 이웃 그래프를 구축하는 3차원 그래프 신경망(3DGNN)을 제안한다. 이 그래프의 각 노드는 일정한 포인트 집합에 대응하며, 2차원 이미지로부터 단일 CNN(unary CNN)을 통해 추출한 외형 특징으로 초기화된 은닉 표현 벡터를 갖는다. 반복 함수를 기반으로, 각 노드는 이웃 노드로부터 도착하는 메시지와 현재 상태를 바탕으로 은닉 표현을 동적으로 업데이트한다. 이 전파 모델은 일정한 시간 단계에 걸쳐 전개되며, 최종 노드별 표현은 각 픽셀의 의미 클래스 예측에 사용된다. 모델의 학습은 시간을 거쳐 역전파(back-propagation through time) 방식을 활용한다. NYUD2 및 SUN-RGBD 데이터셋에서 실시한 광범위한 실험을 통해 본 방법의 효과성을 입증하였다.