EHANet: Ein effektives hierarchisches Aggregationsnetzwerk für Face Parsing

In den letzten Jahren hat sich die Gesichtsaufteilung (face parsing) dank tiefer konvolutioneller neuronalen Netze (DCNNs) rasant weiterentwickelt. Dennoch bestehen weiterhin folgende Herausforderungen: (1) Bestehende State-of-the-Art-Architekturen erfüllen in der Regel keine Echtzeitbedingungen, während sie Leistung optimieren; (2) Ähnliche visuelle Merkmale führen zu falschen Pixelzuschreibungen, insbesondere an den Grenzregionen; (3) Um eine mehrskalige Vorhersage zu fördern, werden tiefe und flache Merkmale ohne Berücksichtigung des semantischen Abstands zwischen ihnen fusioniert. Um diese Nachteile zu überwinden, stellen wir ein effektives und effizientes hierarchisches Aggregationsnetzwerk namens EHANet vor, das eine schnelle und präzise Gesichtsaufteilung ermöglicht. Konkret schlagen wir zunächst einen stufenbasierten kontextuellen Aufmerksamkeitsmechanismus (SCAM) vor, der höherstufige kontextuelle Informationen nutzt, um die Kanäle entsprechend ihrer Relevanz erneut zu kodieren. Zweitens führen wir einen semantischen Lückenausgleichsblock (SGCB) ein, um eine effektive Aggregation hierarchischer Informationen sicherzustellen. Drittens ermöglicht die gewichtete, grenzbehaftete Verlustfunktion die effektive Korrektur der Unsicherheit semantischer Grenzinformationen. Ohne zusätzliche Komplexitäten und in Kombination mit einem leichtgewichtigen Backbone erreichen wir herausragende Ergebnisse sowohl auf dem CelebAMask-HQ-Datensatz (78,19 % mIoU) als auch auf dem Helen-Datensatz (90,7 % F1-Score). Darüber hinaus erreicht unser Modell eine Geschwindigkeit von 55 FPS auf einer einzelnen GTX 1080Ti-Karte bei einer Eingabegröße von 640 × 640 und steigert sich bei einer Auflösung von 256 × 256 auf über 300 FPS, was es für reale Anwendungen geeignet macht.