PARE: Part Attention Regressor für die 3D-Körperabschätzung von Menschen

Trotz erheblicher Fortschritte zeigen wir, dass die derzeit besten Methoden zur 3D-Pose- und Formschätzung von Menschen weiterhin anfällig für partielle Verdeckungen sind und dramatisch falsche Vorhersagen erzeugen können, selbst wenn der größte Teil des Körpers sichtbar ist. Um dieses Problem anzugehen, führen wir einen Soft-Attention-Mechanismus ein, den wir Part Attention REgressor (PARE) nennen, der lernt, körperpart-basierte Aufmerksamkeitsmasken zu vorhersagen. Wir beobachten, dass die derzeit besten Methoden auf globalen Merkmalsrepräsentationen basieren, was sie auch kleinen Verdeckungen besonders anfällig macht. Im Gegensatz dazu überwindet PAREs körperpart-basierter Aufmerksamkeitsmechanismus diese Probleme durch die Nutzung von Informationen über die Sichtbarkeit einzelner Körperabschnitte und das Ausnutzen von Informationen aus benachbarten Körperabschnitten zur Vorhersage verdeckter Teile. Qualitativ zeigen wir, dass PARE sinnvolle Aufmerksamkeitsmasken lernt, und quantitative Evaluierungen bestätigen, dass PARE genaue und robustere Rekonstruktionsresultate als existierende Ansätze sowohl bei Verdeckungs-spezifischen als auch bei Standard-Benchmarks erzielt. Der Code und die Daten sind für Forschungszwecke unter {\small \url{https://pare.is.tue.mpg.de/}} verfügbar.