HIH: Hinweis auf eine genauere Gesichtsalignment durch Heatmap in Heatmap
Die auf Heatmaps basierende Regression überwindet den Mangel an räumlicher und kontextueller Information bei der direkten Koordinatenregression und hat die Aufgabe der Gesichtsalignment revolutioniert. Dennoch leidet sie unter Quantisierungsfehlern, die durch die Vernachlässigung subpixeliger Koordinaten bei der Bildskalierung und der Netzwerk-Downsampling-Prozesse verursacht werden. In diesem Artikel analysieren wir erstmals quantitativ die Quantisierungsfehler an etablierten Benchmarks, die mehr als ein Drittel der Gesamtprognosefehler bei aktuellen State-of-the-Art-Methoden ausmachen. Um dieses Problem anzugehen, schlagen wir eine neuartige Darstellung „Heatmap in Heatmap“ (HIH) sowie eine Koordinaten-Soft-Classification-(CSC)-Methode vor, die nahtlos in das klassische Hourglass-Netzwerk integriert werden können. Die HIH-Darstellung nutzt geschachtelte Heatmaps, um die Koordinatenlabels gemeinsam zu repräsentieren: Eine Heatmap, die als Integer-Heatmap bezeichnet wird, steht für die ganzzahlige Koordinate, während eine weitere Heatmap, die Dezimal-Heatmap genannt wird, die subpixelige Koordinate darstellt. Der Wertebereich der Dezimal-Heatmap entspricht genau einem Pixel in der entsprechenden Integer-Heatmap. Zudem transformieren wir das Offset-Regressionsproblem in eine Intervall-Klassifizierungsaufgabe, wobei CSC die Zuverlässigkeit eines Pixels als Wahrscheinlichkeit für das entsprechende Intervall interpretiert. Gleichzeitig nutzt CSC die Verteilungsverlustfunktion, um die aus der Gaußschen Verteilungsfunktion generierten weichen Labels zur Steuerung des Trainings der Offset-Heatmap heranzuziehen, was das Lernen der Verteilung der Koordinaten-Offsets erleichtert. Umfangreiche Experimente an anspruchsvollen Benchmark-Datensätzen zeigen, dass unsere HIH-Methodik Ergebnisse auf State-of-the-Art-Niveau erzielt. Insbesondere erreicht unsere HIH eine NME (Normalized Mean Error) von 4,08 auf WFLW und 3,21 auf COFW, wodurch die bisherigen Methoden deutlich übertroffen werden.