Neuüberlegung der Porträt-Matting mit Datenschutz-Prinzipien

In letzter Zeit hat sich zunehmend besondere Aufmerksamkeit auf die Datenschutzfrage konzentriert, die durch identifizierbare Informationen in maschinellen Lernverfahren hervorgerufen wird. Bisher basierten alle bestehenden Methoden zur Porträt-Matting jedoch ausschließlich auf identifizierbaren Bildern. Um diese Lücke zu schließen, präsentieren wir P3M-10k, den ersten großskaligen, anonymisierten Benchmark für privacy-preserving Porträt-Matting (P3M). P3M-10k besteht aus 10.421 hochauflösenden Porträtbildern mit verschwommenen Gesichtern sowie hochwertigen Alpha-Matten, was eine systematische Bewertung sowohl trimapfreier als auch trimapbasierter Matting-Methoden ermöglicht und wertvolle Erkenntnisse über die Generalisierungsfähigkeit von Modellen unter dem Datenschutz-Trainingsansatz (PPT) liefert. Außerdem stellen wir ein einheitliches Matting-Modell namens P3M-Net vor, das sowohl mit CNN- als auch mit Transformer-Backbones kompatibel ist. Um den Leistungsunterschied zwischen Domänen im PPT-Szenario weiter zu verringern, entwickeln wir eine einfache, aber effektive Copy-and-Paste-Strategie (P3M-CP), die Gesichtsinformationen aus öffentlichen Bildern berühmter Persönlichkeiten entnimmt und das Netzwerk anleitet, den Gesichts-Kontext sowohl auf Datenebene als auch auf Merkmals-Ebene erneut zu erlernen. Umfangreiche Experimente auf P3M-10k und öffentlichen Benchmarks belegen die Überlegenheit von P3M-Net gegenüber aktuellen State-of-the-Art-Methoden sowie die Wirksamkeit von P3M-CP bei der Verbesserung der Cross-Domain-Generalisierungsfähigkeit. Dies unterstreicht die große Bedeutung von P3M für zukünftige Forschung und reale Anwendungen.