NU-MCC: 이웃 디코더와 반발 UDF를 이용한 다중시점 압축 코딩

단일 뷰 RGB-D 입력에서의 3D 재구성에 있어 상당한 진전이 이루어졌습니다. MCC는 이 분야에서 현재 최고의 방법으로, 비전 트랜스포머와 대규모 학습을 결합하여 전례 없는 성공을 거두었습니다. 그러나 우리는 MCC의 두 가지 주요 제한점을 확인했습니다: 1) 트랜스포머 디코더가 많은 쿼리 포인트를 처리하는 데 비효율적입니다; 2) 3D 표현이 고해상도 세부 정보를 복원하는 데 어려움을 겪습니다. 본 논문에서는 이러한 제한점을 해결하기 위한 새로운 접근 방식인 NU-MCC를 제안합니다. NU-MCC는 두 가지 주요 혁신을 포함하고 있습니다: Neighborhood 디코더와 Repulsive Unsigned Distance Function (Repulsive UDF).첫째, 우리의 Neighborhood 디코더는 중심 포인트를 입력 시각 특징의 효율적인 대리자로 도입하여 각 쿼리 포인트가 작은 근방만 참조하도록 합니다. 이 설계는 추론 속도를 크게 향상시키면서도 더 미세한 시각 특징을 활용하여 3D 텍스처의 복원 성능을 개선할 수 있게 합니다. 둘째, 우리의 Repulsive UDF는 MCC에서 사용된 점유 영역 필드(occupancy field)의 혁신적인 대안으로, 3D 객체 재구성의 품질을 크게 향상시킵니다. 표준 UDFs가 결과에 구멍(holes)이 생기는 문제를 겪는 반면, 제안된 Repulsive UDF는 더욱 완전한 표면 재구성을 달성할 수 있습니다.실험 결과는 NU-MCC가 강력한 3D 표현을 학습할 수 있으며, 단일 뷰 3D 재구성 분야에서 기술 발전을 크게 앞당겼음을 보여줍니다. 특히, CO3D-v2 데이터셋에서 F1 점수로 평가했을 때 MCC보다 9.7% 우수하며, 실행 속도는 5배 이상 빠릅니다.