SEFD: 복잡한 자세와 가림을 학습하는 다이스틸링

이 논문은 복잡한 자세와 가림 상황에서의 3차원(3D) 인간 메시 추정 문제를 다룬다. 두 차원(2D) 자세를 기반으로 한 3D 인간 메시 추정 기술은 인간 간의 가림 상황에 대해 많은 개선이 이루어졌지만, 복잡한 자세나 다른 객체에 의한 가림은 여전히 지속적인 문제로 남아 있다. 이를 해결하기 위해 본 연구는 기준 모델과 비교하여 파라미터 수를 증가시키지 않으면서도 복잡한 자세와 가림에 대해 강건한 성능을 보이는 새로운 기법인 Skinned Multi-Person Linear (SMPL) 엣지 특징 정제(Skinned Multi-Person Linear Edge Feature Distillation, SEFD)를 제안한다. 제안한 모델은 타겟 사람의 경계선과 가림 정보를 포함한 실제값과 유사한 SMPL 겹침 엣지맵을 생성하며, 이후 간단한 엣지맵 기반의 특징 정제를 수행한다. 또한 다양한 벤치마크에서 실험을 수행하여 정성적·정량적으로 높은 정확도를 입증하였다. 광범위한 실험 결과에 따르면, 도메인 갭이 존재하는 3DPW 데이터셋에서 기존 최고 성능 기법 대비 MPJPE 기준 2.8%, MPVPE 기준 1.9%의 성능 향상을 달성하였다. 또한 3DPW-OCC, 3DPW-PC, RH-Dataset, OCHuman, CrowdPose, LSP 데이터셋에서 가림, 복잡한 자세, 도메인 갭이 존재하는 상황에서도 본 방법이 우수한 성능을 보였다. 코드 및 가림과 복잡한 자세에 대한 주석 데이터는 https://anonymous.4open.science/r/SEFD-B7F8/ 에 공개될 예정이다.