그래프 어텐션 네트워크를 이용한 얼굴 랜드마크의 형상 보존

최고 성능의 랜드마크 추정 알고리즘은 대형 컨볼루션 신경망(CNN)이 로컬 외관을 표현하는 뛰어난 능력을 활용하는 데 기반하고 있습니다. 그러나 이들 알고리즘이 약한 공간적 관계만 학습할 수 있다는 것은 잘 알려져 있습니다. 이 문제를 해결하기 위해, 우리는 CNN과 그래프 어텐션 네트워크 회귀기의 캐스케이드를 결합한 모델을 제안합니다. 이를 위해, 우리는 얼굴 랜드마크의 외관과 위치를 공동으로 표현하는 인코딩과 정보의 신뢰성에 따라 가중치를 부여하는 주의 메커니즘을 도입하였습니다. 이는 그래프 노드의 위치 초기화를 위한 다중 작업 접근법과 거칠기에서 세세함으로의 랜드마크 설명 체계와 결합됩니다. 우리의 실험 결과는 제안된 모델이 얼굴 구조의 전역 표현을 학습하며, 머리 자세 및 랜드마크 추정 분야에서 인기 있는 벤치마크에서 최고 성능을 달성한다는 것을 확인하였습니다. 우리의 모델이 제공하는 개선은 랜드마크의 로컬 외관에 큰 변화가 있는 상황에서 가장 유의미합니다.