PBNS: 비물리 기반 신경망 시뮬레이터를 이용한 비지도 의류 자세 공간 변형

우리는 뼈대가 있는 의복의 포즈 스페이스 변형(Pose Space Deformation, PSD) 기저를 딥러닝을 통해 자동으로 얻는 방법론을 제안한다. 기존의 접근 방식은 옷의 애니메이션을 위해 물리 기반 시뮬레이션(Physically Based Simulation, PBS)에 의존한다. 이러한 방법은 공간과 시간에 대해 충분히 세밀한 이산화가 이루어진 경우 매우 현실적인 결과를 도출할 수 있는 일반적인 해결책이지만, 계산 비용이 매우 높으며, 시나리오의 어떤 변경이라도 재시뮬레이션을 요구한다. 선형 블렌드 스키닝(Linear Blend Skinning, LBS)과 함께 사용되는 PSD는 PBS에 비해 경량화된 대안을 제공하지만, 적절한 PSD를 학습하기 위해 방대한 양의 데이터가 필요하다. 본 연구에서는 PBS를 암묵적으로 모델링한 딥러닝 기반 접근법을 제안하여, 옷을 입은 인간을 제약 조건으로 하는 환경에서 비지도 학습을 통해 현실적인 옷의 포즈 스페이스 변형을 학습한다. 또한, 몇몇 시퀀스에 대한 PBS 시뮬레이션과 비슷한 시간 내에 이러한 모델을 훈련할 수 있음을 보여준다. 현재까지의 지식에 따르면, 우리는 옷에 대한 신경망 시뮬레이터를 제안하는 최초의 연구팀이다. 옷 분야의 딥러닝 기반 접근법은 점점 일반화되고 있지만, 이는 데이터 집약적인 모델이다. 게다가, 많은 연구자들은 PBS 데이터로부터 주름을 더 잘 학습하기 위해 복잡한 수식을 제안한다. 그러나 감독 학습 기반의 접근법은 물리적으로 일관되지 않은 예측을 도출하며, 이를 사용하기 위해서는 충돌 해결 과정이 필요하다. 또한 PBS 데이터에 의존하는 구조는 이러한 해결책의 확장성에 한계를 둔다. 더 나아가, 기존의 수식 구조는 적용 가능성과 호환성 면에서 제약을 초래한다. 본 연구에서는 LBS 모델(3D 애니메이션의 표준)에 대해 PSD를 비지도 방식으로 학습하는 방법론을 제안함으로써, 위 두 가지 문제를 모두 극복한다. 실험 결과는 애니메이션된 의복에서 옷의 일관성과 의미 있는 포즈에 따라 달라지는 주름과 접힘이 잘 표현됨을 보여준다. 제안하는 솔루션은 매우 효율적이며, 다중 옷층 구조를 처리할 수 있고, 비지도 방식으로 의복 크기 조절이 가능하며, 어떤 사용자 정의 3D 아바타에도 쉽게 적용할 수 있다.