초록
히트맵 회귀(HR)는 얼굴 정렬의 주요 접근 방식 중 하나로, 제약된 환경에서 유망한 결과를 얻어왔습니다. 그러나 얼굴 이미지가 큰 자세 변동, 심각한 가림 현상 및 복잡한 조명 조건을 겪을 때, 생성된 랜드마크 히트맵의 낮은 해상도와 중요한 고차 정보의 배제로 인해 HR 방법들의 성능이 크게 저하됩니다. 이 문제를 해결하기 위해 본 논문에서는 극단적으로 큰 자세와 심각한 가림 현상을 가진 얼굴의 정렬 문제를 다루기 위한 히트맵 서브픽셀 회귀(HSR) 방법과 다중 차원 교차 기하학적 인식(MCG) 모델을 제안합니다. 이 두 방법은 새로운 다중 차원 고정밀 아워글래스 네트워크(MHHN)에 원활하게 통합되었습니다. HSR 방법은 잘 설계된 서브픽셀 검출 손실(SDL)과 서브픽셀 검출 기술(SDT)을 통해 고정밀 랜드마크 검출을 달성하기 위해 제안되었습니다. 동시에, MCG 모델은 제안된 다중 차원 교차 정보를 사용하여 얼굴의 기하학적 제약 조건과 문맥 정보를 강화하는 더 구별력 있는 표현을 학습할 수 있습니다. 최선의 지식으로 판단할 때, 이는 히트맵 서브픽셀 회귀를 활용하여 강건하고 고정밀의 얼굴 정렬을 탐구한 첫 번째 연구입니다. 도전적인 벤치마크 데이터셋에서 수행한 실험 결과는 우리의 접근 방식이 문헌에 소개된 최신 방법들을 능가함을 입증하였습니다.