17日前

プライバシー保護型ポートレートマッティング

Jizhizi Li, Sihan Ma, Jing Zhang, Dacheng Tao
プライバシー保護型ポートレートマッティング
要約

近年、機械学習における個人を特定できる情報(PII)の使用に伴うプライバシー問題について、ますます注目が集まっている。しかし、これまでのポートレートマッティング手法はすべて、個人を特定可能な顔画像に依存していた。このギャップを埋めるために、本論文ではプライバシー保護型ポートレートマッティングのための初の大規模匿名化ベンチマーク「P3M-10k」を提案する。P3M-10kは、1万枚の高解像度の顔ぼかしポートレート画像と、高品質なアルファマットを含んでおり、プライバシー保護を前提とした研究を推進する基盤となる。本研究では、P3M-10k上でトリマップ不要型およびトリマップ依存型のマッティング手法を体系的に評価した結果、既存のマッティング手法は「プライバシー保護学習(PPT)設定」、すなわち顔ぼかし画像で学習し、任意の画像でテストする条件下で、異なる一般化能力を示すことが明らかになった。より優れたトリマップ不要型ポートレートマッティングモデルを構築するため、本研究ではP3M-Netを提案する。P3M-Netは、意味理解(セマンティック認識)と詳細なマッティングの両方を統合したフレームワークを活用し、特にそれらの相互作用とエンコーダとの連携に重点を置くことで、マッティングプロセスを効果的に促進する。P3M-10k上での広範な実験により、P3M-Netが客観的評価指標および主観的視覚品質の両面で最先端手法を上回ることが実証された。さらに、PPT設定下でも優れた一般化性能を示しており、P3M-10kが今後の研究を促進し、実世界応用の可能性を実現する上で価値ある基盤であることが裏付けられた。ソースコードおよびデータセットは、https://github.com/JizhiziLi/P3M で公開されている。