나이 불변 얼굴 인식과 얼굴 나이 합성이 만나다: 다중 작업 학습 프레임워크

나이 차이가 얼굴 인식에 미치는 영향을 최소화하기 위해, 이전 연구에서는 either 나이와 관련된 특성 간의 상관관계를 최소화하여 신원과 관련된 차별적 특성을 추출하는 방법, 이를 나이 불변 얼굴 인식(Age-Invariant Face Recognition, AIFR)이라고 하거나, 서로 다른 연령 그룹의 얼굴을 동일한 연령 그룹으로 변환하여 나이 차이를 제거하는 방법, 이를 얼굴 연령 합성(Face Age Synthesis, FAS)이라고 하는 두 가지 접근 방식을 사용하였습니다. 그러나 전자는 모델 해석을 위한 시각적 결과가 부족하며, 후자는 후속 인식 과정에서 아티팩트(artifact)로 인해 성능 저하가 발생합니다. 따라서 본 논문에서는 이러한 두 가지 작업을 동시에 처리할 수 있는 통합적인 다중 작업 프레임워크를 제안하며, 이를 MTLFace라고 명명하였습니다. MTLFace는 나이 불변 신원 관련 표현을 학습하면서도 만족스러운 얼굴 합성을 달성할 수 있습니다.구체적으로, 우리는 주의 메커니즘(attention mechanism)을 통해 혼합된 얼굴 특성을 신원과 관련된 특성과 나이와 관련된 특성으로 두 개의 독립적인 구성 요소로 분해한 다음, 다중 작업 학습 및 지속적인 도메인 적응(continuous domain adaptation)을 사용하여 이 두 구성 요소를 서로 독립적으로 만듭니다. 기존의 그룹 단위 FAS를 달성하는 원-핫 인코딩(one-hot encoding)과 달리, 우리는 신원 단위 FAS를 달성하기 위한 새로운 신원 조건부 모듈(identity conditional module)을 제안하며, 이 모듈은 가중치 공유(weight-sharing strategy) 전략을 통해 합성된 얼굴의 나이 부드러움(age smoothness)을 향상시키는 역할을 합니다.또한, 우리는 연령과 성별 주석이 포함된 대규모 크로스-에이지(cross-age) 얼굴 데이터셋을 수집하고 공개하여 AIFR 및 FAS 발전에 기여하고자 합니다. 다섯 개의 벤치마크 크로스-에이지 데이터셋에서 수행한 광범위한 실험은 제안된 MTLFace가 기존 최신 방법론들보다 AIFR 및 FAS에서 우수한 성능을 보임을 입증하였습니다. 또한 MTLFace는 일반적인 얼굴 인식 데이터셋 두 개에서도 경쟁력 있는 성능을 보이는 것으로 확인되었습니다. 소스 코드와 데이터셋은~\url{https://github.com/Hzzone/MTLFace}에서 이용 가능합니다.