등록을 통한 감독: 얼굴 랜드마크 검출기의 정밀도를 향상시키는 비지도 접근법

본 논문에서는 이미지와 비디오에서 얼굴 랜드마크 검출기의 정밀도를 향상시키는 비지도 학습 접근법인 등록에 의한 감독(supervision-by-registration)을 제시합니다. 우리의 주요 관찰 결과는 동일한 랜드마크의 인접 프레임에서의 검출이 등록, 즉 광학 유동(optical flow)과 일관성이 있어야 한다는 것입니다. 흥미롭게도, 광학 유동의 일관성은 수작업으로 라벨링할 필요가 없는 감독의 출처가 되며, 이를 검출기 학습 중 활용할 수 있습니다. 예를 들어, 프레임${t-1}$에서 검출된 랜드마크가 프레임${t-1}$에서 프레임${t}$까지 광학 유동 추적을 거친 후 프레임${t}$에서의 검출 위치와 일치해야 함을 학습 손실 함수에서 강제할 수 있습니다. 본질적으로, 등록에 의한 감독은 등록 손실을 학습 손실 함수에 추가하여, 라벨링된 이미지의 주석과 가까운 출력뿐만 아니라 대량의 비라벨링된 비디오에서도 등록과 일관성을 유지하도록 검출기를 학습시킵니다. 미분 가능한 루카스-칸아데(Lucas-Kanade) 연산을 통해 등록 손실로 end-to-end 학습이 가능해졌습니다. 이 연산은 순방향 패스에서 광학 유동 등록을 계산하고, 시간적 일관성을 촉진하는 그래디언트를 역전파합니다. 우리 방법의 출력은 단일 이미지나 비디오에 적용할 수 있는 더욱 정확한 이미지 기반 얼굴 랜드마크 검출기가 됩니다. 등록에 의한 감독을 통해 (1) 이미지(300W, ALFW)와 비디오(300VW, Youtube-Celebrities)에서 얼굴 랜드마크 검출 성능 향상 및 (2) 비디오 검출 시 발생하는 진동(jittering) 현상의大幅减少를 보여주었습니다.注：最后一句中的“大幅减少”在韩文中应为“대폭 감소”以保持语言的一致性和准确性。修正后的句子：등록에 의한 감독을 통해 (1) 이미지(300W, ALFW)와 비디오(300VW, Youtube-Celebrities)에서 얼굴 랜드마크 검출 성능 향상 및 (2) 비디오 검출 시 발생하는 진동(jittering) 현상의 대폭 감소를 보여주었습니다.