DSFNet: Dual Space Fusion Network for Occlusion-Robust 3D Dense Face Alignment DSFNet: 양방향 공간 융합 네트워크를 이용한 가림에 강한 3D 밀도 높은 얼굴 정렬

심각한 가림 현상과 큰 시점 각도에 대한 민감성이 기존 단일 카메라 3D 밀집 얼굴 정렬 방법의 사용 시나리오를 제한하고 있습니다. 최신 3DMM(3D Morphable Model) 기반 방법은 모델의 계수를 직접 회귀하지만, 실제로 얼굴 형태와 방향에 대한 힌트를 제공할 수 있는 저레벨 2D 공간 및 의미 정보를 충분히 활용하지 못하고 있습니다. 본 연구에서는 이미지 공간과 모델 공간에서 3D 얼굴 기하학을 공동으로 모델링하는 것이 가림 현상과 시점 각도 문제를 해결할 수 있는 방법을 설명합니다. 전체 얼굴을 직접 예측하는 대신, 먼저 밀집 예측을 통해 가시적인 얼굴 영역의 이미지 공간 특성을 회귀합니다. 그 다음, 가시 영역의 회귀된 특성을 바탕으로 모델의 계수를 예측하며, 변형 가능한 모델로부터 전체 얼굴 기하학에 대한 사전 지식을 활용하여 비가시 영역을 완성합니다. 또한, 이미지 공간과 모델 공간 예측의 장점을 결합하여 제약이 없는 환경에서도 높은 강건성과 정확성을 달성할 수 있는 융합 네트워크를 제안합니다. 제안된 융합 모듈 덕분에, 우리의 방법은 이미지 공간 접근 방식의 이점인 가림 현상과 큰 피치(pitch) 및 롤(roll) 시점 각도뿐만 아니라, 모델 공간 방법의 이점인 노이즈와 큰 요(yaw) 각도에도 강건성을 보입니다. 포괄적인 평가는 우리 방법이 최신 방법들보다 우월한 성능을 보임을 입증합니다. 3D 밀집 얼굴 정렬 작업에서 우리는 AFLW2000-3D 데이터셋에서 3.80% NME(Normalized Mean Error)를 달성하였으며, 이는 최신 방법보다 5.5% 개선된 결과입니다. 코드는 https://github.com/lhyfst/DSFNet 에서 확인할 수 있습니다.