HIH: 히트맵 내 히트맵을 통한 더 정확한 얼굴 정렬 방향

좌표 회귀 기반의 히트맵은 직접 좌표 회귀 방식의 공간적 및 맥락 정보 부족 문제를 극복하며, 얼굴 정렬 작업에 혁신을 가져왔다. 그러나 이미지 리사이징 및 네트워크 다운샘플링 과정에서 서브픽셀 좌표를 무시함으로써 발생하는 양자화 오차 문제를 겪고 있다. 본 논문에서는 먼저 다양한 벤치마크에서 양자화 오차를 정량적으로 분석한 결과, 최첨단 기법에서 전체 예측 오차의 1/3 이상을 차지함을 확인하였다. 이러한 문제를 해결하기 위해, 전통적인 아워글래스 네트워크에 자연스럽게 통합될 수 있도록 새로운 '히트맵 안의 히트맵(HIH)' 표현 방식과 좌표 소프트 분류(CSC, Coordinate Soft-Classification) 방법을 제안한다. HIH 표현은 중첩된 히트맵을 활용하여 좌표 레이블을 동시에 표현한다. 하나의 히트맵은 정수 좌표를 나타내는 정수 히트맵(integral heatmap)이고, 다른 하나는 서브픽셀 좌표를 나타내는 소수 히트맵(decimal heatmap)이다. 소수 히트맵의 범위는 해당 정수 히트맵의 한 픽셀에 해당한다. 또한, 오프셋 회귀 문제를 구간 분류 문제로 전환하고, CSC는 픽셀의 신뢰도를 해당 구간의 확률로 간주한다. 더불어 CSC는 가우시안 분포 함수로부터 생성된 소프트 레이블을 활용하여 분포 손실(distribution loss)을 적용함으로써, 좌표 오프셋의 분포를 보다 효과적으로 학습할 수 있도록 한다. 다양한 도전적인 벤치마크 데이터셋에서 실시한 광범위한 실험 결과, 제안하는 HIH 방식이 최첨단 성능을 달성함을 입증하였다. 특히 WFLW 데이터셋에서 4.08 NME(Normalized Mean Error), COFW 데이터셋에서는 3.21의 NME를 기록하며 기존 방법 대비 뚜렷한 성능 향상을 보였다.