Ein realistischer Ansatz zur Generierung maskierter Gesichter, angewendet auf zwei neuartige Datensätze für maskenbasierte Gesichtserkennung

Die COVID-19-Pandemie wirft die Herausforderung auf, Gesichtserkennungssysteme an die neue Realität anzupassen, in der Menschen chirurgische Masken tragen, um Nase und Mund zu bedecken. Traditionelle Datensätze (z. B. CelebA, CASIA-WebFace), die zur Ausbildung dieser Systeme verwendet werden, wurden vor der Pandemie veröffentlicht und erscheinen nun aufgrund des Fehlens von Beispielen von maskierten Personen ungeeignet. Wir stellen eine Methode vor, um Datensätze mit Gesichtern ohne Masken zu erweitern, indem synthetische Masken generiert und auf die Gesichter in den ursprünglichen Bildern aufgelegt werden. Unser Ansatz basiert auf SparkAR Studio, einer von Facebook entwickelten Entwicklerplattform, die zur Erstellung von Instagram-Gesichtsfiltern genutzt wird. In unserer Methode verwenden wir 9 Masken unterschiedlicher Farben, Formen und Materialien. Mittels unserer Methode generieren wir insgesamt 445.446 (90 %) maskierte Proben für den CASIA-WebFace-Datensatz und 196.254 (96,8 %) maskierte Proben für den CelebA-Datensatz und stellen die maskierten Bilder unter https://github.com/securifai/masked_faces zur Verfügung. Wir zeigen, dass unsere Methode signifikant realistischere Trainingsbeispiele für überlagerte Masken auf Gesichtern erzeugt, indem wir Freiwillige befragten, um qualitativ eine Vergleichbarkeit mit anderen Methoden oder Datensätzen für dieselbe Aufgabe zu bewerten. Zudem demonstrieren wir die Nützlichkeit unserer Methode durch die Bewertung state-of-the-art-Gesichtserkennungssysteme (FaceNet, VGG-face, ArcFace), die auf unseren erweiterten Datensätzen trainiert wurden, und zeigen, dass diese bei Testbenchmarks mit maskierten Gesichtern die Leistung von vergleichbaren Systemen, die auf ursprünglichen Datensätzen (ohne Masken) oder auf konkurrierenden Datensätzen (mit Masken, die durch verwandte Methoden generiert wurden) trainiert wurden, übertrifft.