FOF: 단일 카메라를 이용한 실시간 인간 재구성 위한 푸리에 점유 필드 학습

딥러닝의 등장은 단일 카메라를 이용한 인간 재구성 분야에서 상당한 진전을 가져왔습니다. 그러나 기존 표현 방식인 매개변수 모델, 복셀 그리드, 메시 및 암시적 신경망 표현은 고품질 결과와 실시간 속도를 동시에 달성하는 데 어려움이 있습니다. 본 논문에서는 단일 카메라를 이용한 실시간이고 정확한 인간 재구성을 위한 새로운, 강력하고 효율적이며 유연한 3D 표현 방식인 푸리에 점유 필드(Fourier Occupancy Field, FOF)를 제안합니다.FOF는 3D 객체를 시점 방향과 직교하는 2D 필드로 표현하며, 각 2D 위치에서 객체의 시점 방향에 대한 점유 필드가 초기 몇 개의 푸리에 급수 항으로 간결하게 표현됩니다. 이 방법은 2D 영역에서 위상과 이웃 관계를 유지합니다. FOF는 다중 채널 이미지로 저장될 수 있으며, 이는 2D 합성곱 신경망과 호환되며 3D 기하학과 2D 이미지 사이의 간극을 메울 수 있습니다. FOF는 매우 유연하고 확장성이 뛰어나며, 예를 들어 매개변수 모델을 사전 정보로 쉽게 통합하여 더욱 강건한 결과를 생성할 수 있습니다.본 연구에서는 FOF를 기반으로 최초로 30FPS 이상의 고충실도 실시간 단일 카메라 인간 재구성 프레임워크를 설계하였습니다. 공개 데이터셋과 실제 캡처 데이터 모두에서 FOF의 잠재력을 입증하였습니다. 연구 목적으로 코드가 공개될 예정입니다.