Semi-Supervised Learning을 활용한 랜드마크 위치 추정 개선

부분적으로 주석이 달린 데이터셋의 이미지에서 랜드마크 위치를 개선하기 위한 두 가지 기술을 제시합니다. 우리의 주요 목표는 정확한 랜드마크 위치가 소수의 데이터 서브셋에만 제공되는 일반적인 상황을 활용하는 것입니다. 그러나 랜드마크와 관련된 분류 또는 회귀 작업에 대한 클래스 라벨은 더 풍부하게 제공됩니다. 첫째, 순차적 다중태스크 프레임워크를 제안하고, 이곳에서는 클래스 라벨로 학습하는 것이 비주석 데이터에서의 랜드마크 위치 추정을 안내하는 보조 신호 역할을 하는 랜드마크 위치 추정 아키텍처를 통해 이를 탐구합니다. 우리 접근 방식의 핵심 측면은 오류가 완전한 랜드마크 위치 모델을 통해 역전파될 수 있다는 점입니다. 둘째, 이미지에 적용된 변환에 대해 동등성을 예측하도록 설계된 모델을 기반으로 한 감독되지 않은 학습 기술을 제안하고 탐구합니다. 우리는 이러한 기술들이 랜드마크 예측을 크게 개선하며, 데이터셋 중 단지 소수만이 랜드마크 라벨을 가지고 있을 때도 효과적인 검출기를 학습할 수 있음을 보여줍니다. 두 개의 장난감 데이터셋과 손과 얼굴이 포함된 네 개의 실제 데이터셋에서 결과를 제시하며, 특히 AFLW 데이터셋에서 5%의 주석이 달린 이미지만 사용해도 이전 최신 연구보다 우수한 성능을 보이는 것을 보고합니다(랜드마크 위치 추정).