마스크가 착용된 얼굴을 생성하기 위한 실용적인 접근 방식: 두 가지 새로운 마스크 착용 얼굴 인식 데이터셋에 적용

코로나19 팬데믹은 사람들의 코와 입을 가리는 수술용 마스크 착용이 일반화된 새로운 현실 속에서 얼굴 인식 시스템의 적응 문제를 제기한다. 이러한 시스템을 훈련시키는 데 사용되는 기존 데이터셋(예: CelebA, CASIA-WebFace)은 팬데믹 이전에 공개된 것으로, 마스크 착용한 사람들의 예제가 부족하여 현재는 부적절하게 느껴진다. 본 연구에서는 마스크를 착용하지 않은 얼굴을 포함하는 데이터셋을 보강하기 위해 합성 마스크를 생성하고 원본 이미지의 얼굴에 겹쳐 적용하는 방법을 제안한다. 본 방법은 페이스북에서 개발한 SparkAR Studio라는 개발 도구에 기반하며, 이 도구는 인스타그램 얼굴 필터를 제작하는 데 사용된다. 본 연구에서는 색상, 형태, 소재가 다른 9종류의 마스크를 활용한다. 제안한 방법을 통해 CASIA-WebFace 데이터셋에 대해 총 445,446개(90%)의 마스크 이미지 샘플, CelebA 데이터셋에 대해 196,254개(96.8%)의 마스크 이미지 샘플을 생성하였으며, 생성된 마스크 이미지는 https://github.com/securifai/masked_faces에서 공개한다. 우리는 자원봉사자들이 본 방법으로 생성된 마스크 이미지를 다른 유사 목적의 방법이나 데이터셋과 비교하여 정성적으로 평가하게 하였을 때, 본 방법이 훨씬 더 현실감 있는 마스크 이미지를 생성함을 입증하였다. 또한, 본 방법의 유용성을 입증하기 위해 최신의 얼굴 인식 시스템(FaceNet, VGG-face, ArcFace)을 본 연구에서 보강한 데이터셋으로 훈련시켜, 테스트 벤치마크에 마스크 착용 얼굴이 포함된 경우 기존 데이터셋(마스크 미착용 얼굴 포함) 또는 관련 기법으로 생성된 마스크 이미지를 포함하는 경쟁 데이터셋으로 훈련된 동등한 시스템들과 비교하여, 본 연구의 시스템이 더 뛰어난 성능을 보임을 보였다.