2달 전

ECON: 명시적 옷을 입은 인간의 정규 적분을 통한 최적화

Xiu, Yuliang ; Yang, Jinlong ; Cao, Xu ; Tzionas, Dimitrios ; Black, Michael J.
ECON: 명시적 옷을 입은 인간의 정규 적분을 통한 최적화
초록

딥러닝, 아티스트가 큐레이션한 스캔, 그리고 암시적 함수(Implicit Functions, IF)의 조합은 이미지에서 상세하고 옷을 입은 3D 인간을 생성하는 데 활용되고 있습니다. 그러나 기존 방법들은 아직 완벽하지 않습니다. IF 기반 방법은 자유형식의 기하학을 복원하지만, 새로운 자세나 옷에 대해서는 분리된 지체나 변형된 형태를 생성합니다. 이러한 경우의 견고성을 높이기 위해, 기존 연구에서는 명시적인 매개변수화된 신체 모델을 사용하여 표면 재구성을 제약하지만, 이는 신체로부터 벗어난 느슨한 옷과 같은 자유형식의 표면 복원을 제한합니다. 우리는 암시적 표현과 명시적 신체 규제의 최상의 특성을 결합하는 방법을 원합니다. 이를 위해, 우리는 두 가지 주요 관찰 결과를 도출하였습니다: (1) 현재 네트워크는 전체 3D 표면보다 상세한 2D 맵 추론에 더 우수하며, (2) 매개변수화된 모델은 상세한 표면 패치들을 연결하기 위한 "キャンバス"로 간주될 수 있습니다.우리의 방법인 ECON은 세 가지 주요 단계로 구성됩니다: (1) 옷을 입은 사람의 앞쪽과 뒤쪽에 대한 상세한 2D 법선 맵(normal map)을 추론합니다. (2) 이를 바탕으로 d-BiNI라고 불리는 equally detailed然而incomplete的2.5D前面和后面表面(표면)를 복원하며, 이미지에서 복원된 SMPL-X 신체 메시를 이용하여 서로 등록합니다. (3) d-BiNI 표면 사이의 누락된 기하학적 구조를 "인페인팅(inpainting)"합니다. 얼굴과 손이 노이즈가 많은 경우에는 선택적으로 SMPL-X의 얼굴과 손으로 대체할 수 있습니다. 그 결과 ECON은 느슨한 옷과 어려운 자세에서도 고충실도(high-fidelity) 3D 인간을 추론할 수 있으며, CAPE와 Renderpeople 데이터셋에 대한 정량적 평가에 따르면 이는 기존 방법들을 넘어섭니다. 감각적 연구 또한 ECON의 실제감(realism)이 크게 우월함을 보여주고 있습니다. 연구 목적으로 코드와 모델은 econ.is.tue.mpg.de에서 제공됩니다.注释:在翻译过程中,我发现了一处混合了日语和中文的句子,这部分我已根据上下文进行了调整。以下是修正后的韩文翻译:딥러닝, 아티스트가 큐레이션한 스캔, 그리고 암시적 함수(Implicit Functions, IF)의 조합은 이미지에서 상세하고 옷을 입은 3D 인간을 생성하는 데 활용되고 있습니다. 그러나 기존 방법들은 아직 완벽하지 않습니다. IF 기반 방법은 자유형식의 기하학을 복원하지만, 새로운 자세나 옷에 대해서는 분리된 지체나 변형된 형태를 생성합니다. 이러한 경우의 견고성을 높이기 위해, 기존 연구에서는 명시적인 매개변수화된 신체 모델을 사용하여 표면 재구성을 제약하지만, 이는 신체로부터 벗어난 느슨한 옷과 같은 자유형식의 표면 복원을 제한합니다. 우리는 암시적 표현과 명시적 신체 규제의 최상의 특성을 결합하는 방법을 원합니다. 이를 위해, 우리는 두 가지 주요 관찰 결과를 도출하였습니다: (1) 현재 네트워크는 전체 3D 표면보다 상세한 2D 맵 추론에 더 우수하며, (2) 매개변수화된 모델은 상세한 표면 패치들을 연결하기 위한 "캔버스"로 간주될 수 있습니다.우리의 방법인 ECON은 세 가지 주요 단계로 구성됩니다: (1) 옷을 입은 사람의 앞쪽과 뒤쪽에 대한 상세한 2D 법선 맵(normal map)을 추론합니다. (2) 이를 바탕으로 d-BiNI라고 불리는 equally detailed然而incomplete的2.5D前面和后面表面(상세하면서도 불완전한 2.5D 앞쪽 및 뒤쪽 표면)를 복원하며, 이미지에서 복원된 SMPL-X 신체 메시를 이용하여 서로 등록합니다. (3) d-BiNI 표면 사이의 누락된 기하학적 구조를 "인페인팅(inpainting)"합니다. 얼굴과 손이 노이즈가 많은 경우에는 선택적으로 SMPL-X의 얼굴과 손으로 대체할 수 있습니다. 그 결과 ECON은 느슨한 옷과 어려운 자세에서도 고충실도(high-fidelity) 3D 인간을 추론할 수 있으며, CAPE와 Renderpeople 데이터셋에 대한 정량적 평가에 따르면 이는 기존 방법들을 넘어섭니다. 감각적 연구 또한 ECON의 실제감(realism)이 크게 우월함을 보여주고 있습니다. 연구 목적으로 코드와 모델은 econ.is.tue.mpg.de에서 제공됩니다.为了确保句子的流畅性和准确性,我将“equally detailed然而incomplete的2.5D前面和后面表面”部分翻译为“상세하면서도 불완전한 2.5D 앞쪽 및 뒤쪽 표면”。希望这能更好地传达原文的意思。

ECON: 명시적 옷을 입은 인간의 정규 적분을 통한 최적화 | 최신 연구 논문 | HyperAI초신경