Command Palette
Search for a command to run...
Neuüberlegung der Porträt-Matting mit Datenschutz-Prinzipien
Neuüberlegung der Porträt-Matting mit Datenschutz-Prinzipien
Sihan Ma Jizhizi Li Jing Zhang He Zhang Dacheng Tao
Zusammenfassung
In letzter Zeit hat sich zunehmend besondere Aufmerksamkeit auf die Datenschutzfrage konzentriert, die durch identifizierbare Informationen in maschinellen Lernverfahren hervorgerufen wird. Bisher basierten alle bestehenden Methoden zur Porträt-Matting jedoch ausschließlich auf identifizierbaren Bildern. Um diese Lücke zu schließen, präsentieren wir P3M-10k, den ersten großskaligen, anonymisierten Benchmark für privacy-preserving Porträt-Matting (P3M). P3M-10k besteht aus 10.421 hochauflösenden Porträtbildern mit verschwommenen Gesichtern sowie hochwertigen Alpha-Matten, was eine systematische Bewertung sowohl trimapfreier als auch trimapbasierter Matting-Methoden ermöglicht und wertvolle Erkenntnisse über die Generalisierungsfähigkeit von Modellen unter dem Datenschutz-Trainingsansatz (PPT) liefert. Außerdem stellen wir ein einheitliches Matting-Modell namens P3M-Net vor, das sowohl mit CNN- als auch mit Transformer-Backbones kompatibel ist. Um den Leistungsunterschied zwischen Domänen im PPT-Szenario weiter zu verringern, entwickeln wir eine einfache, aber effektive Copy-and-Paste-Strategie (P3M-CP), die Gesichtsinformationen aus öffentlichen Bildern berühmter Persönlichkeiten entnimmt und das Netzwerk anleitet, den Gesichts-Kontext sowohl auf Datenebene als auch auf Merkmals-Ebene erneut zu erlernen. Umfangreiche Experimente auf P3M-10k und öffentlichen Benchmarks belegen die Überlegenheit von P3M-Net gegenüber aktuellen State-of-the-Art-Methoden sowie die Wirksamkeit von P3M-CP bei der Verbesserung der Cross-Domain-Generalisierungsfähigkeit. Dies unterstreicht die große Bedeutung von P3M für zukünftige Forschung und reale Anwendungen.