HyperAIHyperAI
vor 17 Tagen

Privatsphäre-schützende Porträt-Matting

Jizhizi Li, Sihan Ma, Jing Zhang, Dacheng Tao
Privatsphäre-schützende Porträt-Matting
Abstract

In letzter Zeit hat sich zunehmend besondere Aufmerksamkeit auf die Datenschutzproblematik konzentriert, die sich aus der Verwendung personenidentifizierbarer Informationen in maschinellem Lernen ergibt. Bisher basierten jedoch alle etablierten Methoden zur Porträt-Matting auf identifizierbaren Porträtbildern. Um diese Lücke zu schließen, präsentieren wir in diesem Artikel P3M-10k, den ersten großen, anonymisierten Benchmark für datenschutzorientiertes Porträt-Matting. P3M-10k besteht aus 10.000 hochauflösenden Gesichtsverschmierungs-Bildern mit hochwertigen Alpha-Matten. Wir führen eine systematische Evaluation sowohl trimapfreier als auch trimapbasierter Matting-Methoden auf P3M-10k durch und stellen fest, dass bestehende Matting-Methoden unter dem Datenschutz-Training (Privacy-Preserving Training, PPT)-Setting – also Training auf Gesichtsverschmierungs-Bildern und Test auf beliebigen Bildern – unterschiedliche Generalisierungsfähigkeiten aufweisen. Um ein verbessertes trimapfreies Porträt-Matting-Modell zu entwickeln, schlagen wir P3M-Net vor, das die Stärken eines einheitlichen Rahmens für sowohl semantische Wahrnehmung als auch detaillierte Matting-Ausführung nutzt und insbesondere die Wechselwirkung zwischen diesen beiden Komponenten sowie mit dem Encoder betont, um den Matting-Prozess zu optimieren. Umfangreiche Experimente auf P3M-10k zeigen, dass P3M-Net sowohl in Bezug auf objektive Metriken als auch subjektive visuelle Qualität die derzeit besten Ansätze übertrifft. Darüber hinaus zeigt es eine hervorragende Generalisierungsfähigkeit unter dem PPT-Setting, was die Relevanz von P3M-10k für zukünftige Forschung und die potenzielle Anwendung in der Praxis unterstreicht. Der Quellcode und das Datenset sind unter https://github.com/JizhiziLi/P3M verfügbar.