TextureNet: 메시에서 고해상도 신호를 학습하기 위한 일관된 국소 매개변수화

우리는 3D 표면 메시(예: 색상 텍스처 맵)와 관련된 고해상도 신호에서 특징을 추출하기 위해 설계된 신경망 구조인 TextureNet을 소개합니다. 주요 아이디어는 4회전 대칭(4-RoSy) 필드를 활용하여 표면에서 합성곱을 정의하는 도메인을 설정하는 것입니다. 4-RoSy 필드는 표면에서 합성곱을 수행하기에 유리한 여러 특성을 가지고 있지만(왜곡이 적고, 특이점이 적으며, 일관된 매개변수화 등), 임의의 샘플 포인트에서 4배 회전까지 방향성이 모호합니다. 따라서, 우리는 4-RoSy 모호성에 불변인 새로운 합성곱 연산자를 도입하여 이 연산자를 네트워크에 사용하여 표면의 측지선 근방에서 고해상도 신호의 특징을 추출합니다. PointNet 기반 방법과 같은 대안들과 비교할 때, 이러한 근방으로부터 제공되는 일관된 구조는 훨씬 강력한 특징을 생성합니다. 예시 응용 분야로, 우리는 TextureNet 구조가 텍스처가 있는 3D 메시의 3D 의미 분할에 미치는 이점을 시연합니다. 결과는 우리의 방법이 평균 IoU 기준으로 모든 기존 방법보다 상당히 우수하다는 것을 보여줍니다. 기하학 정보만 사용하는 경우(6.4%)와 RGB+기하학 정보를 사용하는 경우(6.9-8.2%) 모두에서 그렇습니다.