17일 전

개인정보 보호형 포트레이트 매팅

Jizhizi Li, Sihan Ma, Jing Zhang, Dacheng Tao
개인정보 보호형 포트레이트 매팅
초록

최근 기계학습에서 개인을 특정할 수 있는 정보(PII)를 사용함에 따른 개인정보 보호 문제에 대한 우려가 점점 커지고 있다. 그러나 기존의 포트레이트 매트팅(포트레이트 마스킹) 기법들은 모두 개인을 식별할 수 있는 얼굴 이미지에 기반해 왔다. 이러한 격차를 메우기 위해 본 논문에서는 개인정보 보호를 고려한 포트레이트 매트팅을 위한 최초의 대규모 익명화 기준 데이터셋인 P3M-10k를 제안한다. P3M-10k는 고해상도의 얼굴 흐림 처리된 포트레이트 이미지 10,000장과 고품질의 알파 매트를 포함하고 있다. 우리는 P3M-10k에서 트리맵 기반 및 트리맵 없이 작동하는 매트팅 기법들을 체계적으로 평가하였으며, 기존의 매트팅 기법들이 개인정보 보호 학습(PPT, Privacy-Preserving Training) 설정—즉, 얼굴이 흐려진 이미지로 학습하고 임의의 이미지에서 테스트하는 방식—하에서 서로 다른 일반화 능력을 보임을 발견하였다. 더 나은 트리맵 없는 포트레이트 매트팅 모델을 설계하기 위해, 본 연구는 의미 인식과 세부 매트팅을 위한 통합 프레임워크의 능력을 활용하며, 특히 이 두 요소 간의 상호작용과 인코더와의 연계를 강조하는 P3M-Net을 제안한다. P3M-10k에서 수행된 광범위한 실험 결과, P3M-Net은 주관적 시각 품질과 객관적 평가 지표 모두에서 최신 기술(SOTA)을 초월함을 입증하였다. 또한 PPT 설정 하에서도 우수한 일반화 능력을 보여, P3M-10k가 향후 연구 발전과 실제 응용 가능성 확대에 기여할 수 있음을 확인하였다. 소스 코드와 데이터셋은 https://github.com/JizhiziLi/P3M 에서 공개되어 있다.