Bildbasierte und teilweise kategorische Annotierungsstrategie für die Erkennung von Fußgängermerkmalen

Textbasierte Suchanfragen können in ein Person-Identifikationssystem (re-ID) durch die Integration einer Fußgänger-Attributerkennung (PAR) ergänzt werden. Die Einbindung eines CNN-basierten PAR-Moduls in ein re-ID-Modell ist für beide Aufgaben effizient, wenngleich nur wenige Ansätze sich auf die Verbesserung der Ergebnisse durch Modifikation der Daten statt der Architektur konzentrieren. Ohne Berücksichtigung von Rechenkosten, Implementierungsschwierigkeiten oder Generalisierbarkeit versuchen die meisten modernen Multi-Task-Methoden, die vorherigen Ansätze durch neue Modelle und Architekturen auf festen Datensätzen zu übertreffen. Um den Einfluss der Daten auf die PAR-Leistung zu untersuchen, schlägt diese Forschung ein bildbasiertes, teilweise kategorisches Attribut-Datenset (CA-Duke) vor, das 36.411 Bilder aus dem DukeMTMC-reID-Datensatz für 74 Fußgängerattribute umfasst. Da heutige Methoden die Position für zusätzliche Module in Baseline-Netzwerken zur Erstellung eines Multi-Task-Netzwerks durch experimentelle Prozesse wählen, bleibt jedoch ein systematischer Ansatz zur Bestimmung der optimalen Stelle für neue Verzweigungen unklar. Um die beste Stelle zur Integration eines PAR-Moduls in ein re-ID-vortrainiertes Netzwerk zu identifizieren, wird zudem ein zweistufiges Lernverfahren vorgeschlagen, das die Trennbarkeit der Daten im latenzraum mithilfe eines neuen Metrics namens Separation Index (SI) bewertet. Umfangreiche Experimente zu Attributerkennung und Retrieval ergeben, dass eine umfassende und bildbasierte Annotation die Netzwerkleistung um 3,31 % hinsichtlich des F1-Metriks steigern kann. Darüber hinaus ermöglichen der SI und vortrainierte Netzwerke eine state-of-the-art-Leistung bei der PAR.