초록
히트맵 회귀 기반의 딥러닝 모델은 기존의 모델들이 큰 자세 변화, 비균일한 조명 및 그림자, 가림 및 자기 가림, 저해상도 및 흐림 등 다양한 어려운 조건에서도 안정적으로 작동함으로써 얼굴 랜드마크 위치 추정 작업을 혁신적으로 개선했다. 그러나 이러한 모델이 널리 채택되고 있음에도 불구하고, 히트맵 인코딩 및 디코딩 과정에서 발생하는 이산화(Discretization)에 기인한 오차는 여전히 문제로 남아 있다. 본 연구에서는 이러한 오차가 얼굴 정렬 정확도에 예상치 못하게 큰 부정적 영향을 미친다는 것을 입증한다. 이를 해결하기 위해, 히트맵 인코딩 및 디코딩 과정에서 기저의 연속 분포(continuous distribution)를 활용하는 새로운 접근 방식을 제안한다. 새로 제안된 인코딩-디코딩 메커니즘의 잠재력을 극대화하기 위해, 다양한 기하학적 이미지 변환에 걸쳐 히트맵의 일관성을 강제하는 시아메스(Siamese) 기반 학습 방식도 도입한다. 제안된 방법은 다양한 데이터셋에서 눈에 띄는 성능 향상을 보이며, 얼굴 랜드마크 위치 추정 분야에서 새로운 최고 성능(SOTA, State-of-the-Art) 기록을 수립한다. 관련 코드와 사전 학습된 모델은 https://www.adrianbulat.com/face-alignment 에서 공개될 예정이다.