PANDA: Pose-gleichgerichtete Netze für die tiefe Modellierung von Attributen

Wir schlagen eine Methode vor, um menschliche Merkmale (wie Geschlecht, Frisur, Kleidungsstil, Mimik und Bewegung) aus Bildern von Personen unter großer Variation von Blickwinkel, Pose, Erscheinungsbild, Artikulation und Verdeckung zu inferieren. Konvolutionsneuronale Netze (CNN) haben sich bei großen Objekterkennungsproblemen als sehr effektiv erwiesen. Im Kontext der Merkmalsklassifizierung ist das Signal jedoch oft subtil und kann nur einen kleinen Teil des Bildes abdecken, während das Bild hauptsächlich durch die Effekte von Pose und Blickwinkel geprägt ist. Die Berücksichtigung von Posevariationen würde erfordern, dass man auf sehr großen annotierten Datensätzen trainiert, die derzeit nicht verfügbar sind. Teilebasierte Modelle wie Poselets und DPM haben sich für dieses Problem gut bewährt, sind aber durch flache niedere Features begrenzt. Wir schlagen eine neue Methode vor, die teilebasierte Modelle und tiefes Lernen kombiniert, indem wir pose-normalisierte CNNs trainieren. Wir zeigen erhebliche Verbesserungen im Vergleich zu den besten aktuellen Methoden bei herausfordernden Merkmalsklassifizierungsaufgaben in unbeschränkten Szenarien. Experimente bestätigen, dass unsere Methode sowohl die besten teilebasierten Methoden für dieses Problem als auch herkömmliche CNNs, die auf dem gesamten Begrenzungsrahmen der Person trainiert wurden, übertrifft.