얼굴 랜드마크 탐지는 다양한 얼굴 이미지 분석 응용 분야에서 핵심적인 단계이다. 일부 딥러닝 기반 방법들은 이 작업에서 우수한 성능을 달성하고 있으나, 보통 모바일 장치에서 실행하기에는 적합하지 않다. 이러한 방법들은 많은 파라미터를 가진 네트워크에 의존하기 때문에 학습 및 추론 과정이 시간이 오래 걸린다. 반면에 MobileNet과 같은 경량 신경망을 학습시키는 것은 종종 도전적이며, 모델의 정확도가 낮을 수 있다. 지식 증류(Knowledge Distillation, KD)에 영감을 받아, 본 논문은 경량 Student 네트워크(예: MobileNetV2)를 얼굴 랜드마크 탐지에 적합하도록 학습시키기 위한 새로운 손실 함수를 제안한다. 우리는 Student 네트워크와 함께 두 개의 Teacher 네트워크—내성적인 Teacher(Tolerant-Teacher)와 엄격한 Teacher(Tough-Teacher)—를 사용한다. 내성적인 Teacher는 활성 형태 모델(Active Shape Models)을 통해 생성된 소프트 랜드마크(Soft-landmarks)를 이용해 학습되며, 엄격한 Teacher는 정답 랜드마크 점(즉, 하드 랜드마크, Hard-landmarks)을 사용해 학습된다. Teacher 네트워크가 예측한 얼굴 랜드마크 점을 활용하기 위해 각 Teacher 네트워크에 대해 보조 손실(Asistive Loss, ALoss)을 정의한다. 또한, 사전 학습된 두 개의 Teacher 네트워크(EfficientNet-b3)가 예측한 얼굴 랜드마크 점을 활용하여 경량 Student 네트워크가 하드 랜드마크를 정확히 예측하도록 유도하는 KD-Loss라는 손실 함수를 제안한다. 세 가지 도전적인 얼굴 데이터셋에 대한 실험 결과를 통해 제안된 아키텍처가 더 잘 학습된 Student 네트워크를 생성하며, 높은 정확도로 얼굴 랜드마크 점을 추출할 수 있음을 입증하였다.