Entkoppeltes Mehraufgaben-Lernen mit zyklischer Selbstregulierung für Gesichtsaufteilung

Diese Arbeit untersucht die inhärenten Ursachen typischer Fehlverhaltensfälle (z. B. räumliche Inkonsistenz und Grenzverwirrung), die durch die derzeit fortschrittlichsten Methoden im Bereich der Gesichtsaufteilung (face parsing) verursacht werden. Um diese Probleme zu lösen, stellen wir einen neuartigen Ansatz namens Decoupled Multi-task Learning with Cyclical Self-Regulation (DML-CSR) für die Gesichtsaufteilung vor. Konkret entwirft DML-CSR ein Multi-Task-Modell, das aus den Aufgaben Gesichtsaufteilung, binäre Kanten- und Kategoriekanten-Detektion besteht. Diese Aufgaben teilen lediglich die Gewichte des tiefen Encoders, ohne hochlevelige Interaktionen untereinander, was es ermöglicht, die Hilfsmodule während der Inferenz vom gesamten Netzwerk zu entkoppeln. Um räumliche Inkonsistenzen zu beheben, entwickeln wir ein dynamisches Dual-Graph-Convolutional-Netzwerk, das globale Kontextinformationen erfasst, ohne zusätzliche Pooling-Operationen zu verwenden. Um Grenzverwirrungen sowohl in Einzel- als auch in Mehrfachgesichtsszenarien zu bewältigen, nutzen wir die binäre und Kategoriekanten-Detektion gemeinsam, um sowohl generische geometrische Strukturen als auch fein abgestimmte semantische Hinweise menschlicher Gesichter zu erlangen. Darüber hinaus wird ein zyklisches Selbstregulierungsverfahren vorgeschlagen, um Rauschen in den Labels während des Trainings zu vermeiden und die Generalisierungsfähigkeit des Modells zu schützen. Dabei werden mehrere Modellinstanzen selbstensembleiert, um ein neues Modell zu generieren, das anschließend zur Selbst-Distillation nachfolgender Modelle genutzt wird, wobei die Iterationen alternierend durchgeführt werden. Experimente zeigen, dass unsere Methode die neueste Stand der Technik auf den Datensätzen Helen, CelebAMask-HQ und Lapa erreicht. Der Quellcode ist unter https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr verfügbar.