Personenanalyse: Selbstüberwachtes struktursensitives Lernen und ein neuer Benchmark für die Analyse von Menschen

Die Analyse von Menschen (Human Parsing) hat aufgrund ihres großen Anwendungspotenzials in letzter Zeit starkes Interesse in der Forschung gefunden. Bestehende Datensätze haben jedoch eine begrenzte Anzahl von Bildern und Annotationen und fehlen an Vielfalt menschlicher Erscheinungen sowie an der Abdeckung herausfordernder Fälle in unstrukturierten Umgebungen. In dieser Arbeit stellen wir einen neuen Benchmark "Look into Person (LIP)" vor, der erhebliche Fortschritte in Bezug auf Skalierbarkeit, Vielfalt und Schwierigkeit macht, ein Beitrag, den wir für zukünftige Entwicklungen im Bereich der menschenzentrierten Analyse entscheidend wichtig halten. Dieser umfassende Datensatz enthält über 50.000 sorgfältig annotierte Bilder mit 19 semantischen Körperteilbezeichnungen, die aus einer breiteren Vielzahl von Perspektiven, Verdeckungen und Hintergrundkomplexitäten aufgenommen wurden. Mit diesen reichhaltigen Annotationen führen wir detaillierte Analysen der führenden Ansätze zur Analyse von Menschen durch und gewinnen Einblicke in die Stärken und Schwächen dieser Methoden. Darüber hinaus untersuchen wir im Gegensatz zu bisherigen Bemühungen zur Verbesserung der Merkmalsdiskriminierung die menschenzentrierte Analyse durch einen neuen selbstüberwachten strukturempfindlichen Lernansatz, der menschliche Körperstrukturen in die Segmentierungsergebnisse integriert, ohne zusätzliche Überwachung zu benötigen (d.h., es ist nicht notwendig, Gelenke speziell während des Modelltrainings zu beschriften). Unser selbstüberwachtes Lernframework kann in jedes fortschrittliche neuronale Netzwerk integriert werden, um reichhaltiges hochstufiges Wissen über menschliche Gelenke aus einer globalen Perspektive zu vermitteln und die Segmentierungsergebnisse zu verbessern. Ausführliche Evaluierungen auf unserem LIP-Datensatz sowie dem öffentlichen PASCAL-Person-Part-Datensatz zeigen die Überlegenheit unserer Methode.