가시도 저항성 얼굴 정렬을 위한 시점 불변 계층적 네트워크 아키텍처

면부 정렬에서의 가림 문제는 정렬 성능을 크게 저하시키는 주요 요인이다. 현재 대부분의 해결 방안은 새로운 가림 데이터를 레이블링하고, 경계 추정 기법을 도입하며, 더 깊은 신경망 구조를 쌓아 신경망의 강건성을 높이는 데 집중하고 있다. 그러나 얼굴의 맥락 정보가 대량으로 누락되는 극단적인 가림 상황(평균 가림률 50% 이상)에서는 모델의 성능 저하가 여전히 지속된다. 본 연구에서는 신경망을 활용해 얼굴의 계층적 구조를 모델링하는 것이 극단적 가림 상황에 대응하는 더 유망한 접근법이라고 주장한다. 놀랍게도 최근 연구들에서는 신경망을 이용해 얼굴의 계층 구조를 표현하는 데 거의 관심이 없었다. 본 논문에서는 얼굴 구조의 시점 불변 계층 구조에서 영감을 받아, 다양한 가림 상황에 대응할 수 있도록 얼굴의 계층 구조를 모델링하는 새로운 네트워크 아키텍처인 GlomFace를 제안한다. 구체적으로 GlomFace는 기능적으로 두 가지 모듈로 구성된다: 부분-전체 계층 모듈과 전체-부분 계층 모듈이다. 전자는 얼굴 부위 간의 부분-전체 계층적 종속성을 포착하여 다중 스케일 가림 정보를 억제하고, 후자는 얼굴 부위 간의 전체-부분 계층적 관계를 구축함으로써 구조적 추론 능력을 신경망에 도입한다. 결과적으로 GlomFace는 얼굴 계층 구조와의 대응 관계를 가지므로 명확한 위상적 해석이 가능하다. 광범위한 실험 결과는 제안된 GlomFace가 기존 최첨단 방법들과 비교해 유사한 성능을 보이며, 특히 극단적 가림 상황에서 뛰어난 성능을 발휘함을 시사한다. 모델은 https://github.com/zhuccly/GlomFace-Face-Alignment 에서 공개되어 있다.