SNARF: 비탄성 신경 암묵 형태의 애니메이션을 위한 미분 가능한 전방 스켈레팅

신경 은닉 표면 표현은 3차원 형태를 연속적이고 해상도에 구애받지 않는 방식으로 포착하는 데 있어 유망한 패러다임으로 부상하고 있다. 그러나 이러한 방법을 관절 구조를 가진 형태에 적용하는 것은 간단하지 않다. 기존의 접근법들은 변형된 점들을 원형(정준) 상태로 매핑하는 역방향 왜곡 필드를 학습한다. 그러나 이는 역방향 왜곡 필드가 자세(pose)에 따라 달라지기 때문에, 충분한 양의 데이터를 필요로 한다는 문제를 안고 있다. 이를 해결하기 위해, 우리는 선형 블렌드 스키닝(LBS)의 장점을 다각형 메쉬에 적용한 기법과 신경 은닉 표면의 장점을 결합한 SNARF를 제안한다. 이 방법은 직접적인 감독 없이 정방향 왜곡 필드를 학습함으로써, 자세에 의존하지 않는 정준 공간에서 정의된 왜곡 필드를 활용한다. 이는 미관측 자세에 대한 일반화를 가능하게 한다. 그러나 변형된 메시로부터 왜곡 필드를 학습하는 것은 어렵다. 왜냐하면 변형된 점들 간의 대응 관계가 암묵적으로 정의되며, 위상 구조가 변화할 경우 유일하지 않을 수 있기 때문이다. 따라서 우리는 반복적 근 찾기(iterative root finding)를 이용하여 임의의 변형된 점에 대한 모든 정준 상태의 대응점을 찾는 정방향 스키닝 모델을 제안한다. 또한 은닉 미분(implicit differentiation)을 통해 해석적 기울기(analytical gradients)를 유도함으로써, 뼈 변형이 가해진 3차원 메시로부터 엔드투엔드(end-to-end) 학습이 가능하도록 한다. 최신의 신경 은닉 표면 표현 기법들과 비교했을 때, 본 연구의 접근법은 정확도를 유지하면서도 미관측 자세에 대해 더 우수한 일반화 성능을 보였다. 제안한 방법은 다양한 미관측 자세에서 복잡한 시나리오, 특히 옷을 입은 3차원 인간 모델에 대해 효과적으로 적용됨을 실험을 통해 입증하였다.