주기적 자기조절을 통한 분리형 다중 작업 학습을 이용한 얼굴 파싱

본 논문은 현재 최고 수준의 얼굴 파싱 기법에서 발생하는 전형적인 오류 사례(예: 공간적 일관성 부족 및 경계 혼란)의 내재적 원인을 탐구한다. 이러한 문제들을 해결하기 위해, 얼굴 파싱을 위한 새로운 이중 분리 다중 작업 학습 기법인 순환 자기 조정(DML-CSR: Decoupled Multi-task Learning with Cyclical Self-Regulation)을 제안한다. 구체적으로 DML-CSR는 얼굴 파싱, 이진 경계 탐지, 카테고리 경계 탐지 세 가지 작업을 포함하는 다중 작업 모델을 설계하였으며, 각 작업 간에는 고수준 상호작용 없이 저수준 인코더 가중치만 공유한다. 이로 인해 추론 단계에서 보조 모듈을 전체 네트워크로부터 분리할 수 있어 구조적 유연성을 확보할 수 있다. 공간적 일관성 문제를 해결하기 위해, 추가적인 풀링 연산 없이도 전역적 맥락 정보를 효과적으로 포착할 수 있는 동적 이중 그래프 컨볼루션 네트워크를 개발하였다. 또한 단일 및 다중 얼굴 상황 모두에서 발생하는 경계 혼란 문제를 해결하기 위해, 이진 경계 및 카테고리 경계 탐지를 결합하여 인간 얼굴의 일반적인 기하학적 구조와 세부적인 의미 정보를 동시에 획득한다. 더불어, 학습 과정에서 노이즈가 있는 레이블이 모델의 일반화 능력을 저하시키는 것을 방지하기 위해 순환 자기 조정 기법을 도입하였다. 이 기법은 여러 모델 인스턴스를 자가 앙상블하여 새로운 모델을 생성하고, 생성된 모델을 통해 후속 모델을 자기 지도 학습(자기 정제)하는 방식으로 반복적으로 수행된다. 실험 결과, 제안한 방법은 Helen, CelebAMask-HQ, Lapa 데이터셋에서 기존 최고 성능을 초과하는 새로운 최고 성능을 달성하였다. 소스 코드는 다음 링크에서 확인 가능하다: https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr.