가려진 인간 메시 재구성 위한 인스턴스 인식 대비 학습

본 논문에서는 단일 이미지에서 오클루전에 강건한 3D 인간 메시 재구성에 대한 간단하면서도 효과적인 방법을 제안한다. 최근 많은 연구들이 인간 메시 재구성 성능에 큰 진전을 보였지만, 사람 간 오클루전이 발생할 경우 신체 부위가 누구의 것인지 모호해지기 때문에 정확한 메시를 생성하는 것은 여전히 어려운 과제이다. 이 문제를 해결하기 위해 우리는 인스턴스 인지형 대조 학습 기반의 새로운 방식을 제안한다. 구체적으로, 대상 인간의 관절 특징들이 앵커 특징(즉, 신체 중심 위치에서 추출한 특징)과 가까워지도록 학습하고, 서로 다른 인간 인스턴스의 앵커 특징들은 서로 멀어지도록 유도함으로써 각 사람의 관절 특징이 다른 사람과 명확히 구분되도록 한다. 이러한 대조 학습 기반의 관절 소유 관계 해석을 통해 제안된 방법은 주어진 이미지 내 각 사람의 신체 부위 공간 점유 상태를 간단히 이해할 수 있으며, 다수의 사람 간에 심각한 겹침이 발생하는 경우에도 신뢰할 수 있는 인간 메시를 재구성할 수 있다. 기준 데이터셋에서의 실험 결과는 기존 방법 대비 제안된 방법이 사람 간 오클루전 상황에서도 뛰어난 강건성을 보임을 입증한다. 코드와 모델은 공개적으로 제공되며, 다음 링크에서 확인할 수 있다: https://github.com/DCVL-3D/InstanceHMR_release.