img2pose: Gesichtsausrichtung und -erkennung durch 6DoF, Gesichtspose-Schätzung

Wir schlagen eine Echtzeit-Methode zur Schätzung der sechs Freiheitsgrade (6DoF) dreidimensionaler Gesichtsposen vor, ohne dabei Gesichtserkennung oder Landmarkenlokalisation zu verwenden. Wir beobachten, dass die Schätzung der 6DoF starren Transformation eines Gesichts ein einfacheres Problem darstellt als die Erkennung von Gesichtslandmarken, die häufig für die 3D-Gesichtsausrichtung verwendet werden. Zudem bietet 6DoF mehr Informationen als Gesichtsumrandungen (Bounding Box Labels). Auf Basis dieser Beobachtungen leisten wir mehrere Beiträge: (a) Wir beschreiben ein leicht trainierbares, effizientes Modell auf Basis von Faster R-CNN, das die 6DoF-Pose für alle Gesichter im Foto regressiert, ohne eine vorherige Gesichtserkennung durchzuführen. (b) Wir erläutern, wie die Pose zwischen dem Eingabefoto und beliebigen während des Trainings und der Auswertung unseres Modells erstellten Ausschnitten konvertiert und konsistent gehalten wird. (c) Schließlich zeigen wir, wie Gesichtsposen die Erkennungsbounding box Trainingsetiketten ersetzen können. Tests auf AFLW2000-3D und BIWI zeigen, dass unsere Methode in Echtzeit läuft und den aktuellen Stand der Technik (State of the Art, SotA) bei der Schätzung von Gesichtsposen übertrifft. Bemerkenswerterweise übertreffen unsere Methoden auch SotA-Modelle vergleichbarer Komplexität beim WIDER FACE-Erkennungsbenchmark, obwohl sie nicht an bounding box Etiketten optimiert wurden.