Die Neuidentifizierung Von Fußgängern Gewinnt Immer Mehr an Bedeutung. Was Sind Die Heißen Themen?
Die Technologie zur Fußgänger-Neuidentifizierung wird häufig in Szenarien wie Smart Cities und autonomem Fahren eingesetzt und hat in den letzten Jahren eine rasante Entwicklung durchlaufen. Dies ist auch auf die Erweiterung des Trainingsdatenumfangs und die Entwicklung des Deep Learning zurückzuführen.
Können Sie in der riesigen Menge die gesuchte Person auf den ersten Blick finden?
Heute ist diese Aufgabe für Computer möglicherweise ein Kinderspiel. Dies ist auf die rasante Entwicklung der Technologie zur Fußgänger-Neuidentifizierung in den letzten Jahren zurückzuführen.
Bei der Personen-Neuidentifizierung, auch Fußgänger-Neuidentifizierung oder kurz ReID genannt, handelt es sich um eine Technologie, die mithilfe von Computer-Vision-Technologie ermittelt, ob sich in einer Bild- oder Videosequenz ein bestimmter Fußgänger befindet. Um es intuitiv auszudrücken:Sie ist in der Lage, dieselbe Zielperson in unterschiedlichen Szenen anhand von Merkmalen wie Kleidung, Körperform, Frisur usw. zu identifizieren, weshalb sie auch als grenzübergreifende Tracking-Technologie bezeichnet wird.
Die erneute Identifizierung von Personen ist nach der Gesichtserkennung zu einer wichtigen Forschungsrichtung im Bereich der Computervision geworden.
Obwohl die Technologie zur Gesichtserkennung sehr ausgereift ist, können Gesichter in vielen Fällen nicht effektiv erkannt werden, beispielsweise bei dichten Menschenmengen, einer niedrigen Auflösung der Überwachungskameras oder verzerrten Aufnahmewinkeln.Eine wichtige Ergänzung ist die Fußgängererkennung geworden.
Aus diesem Grund hat die Gesichtswiedererkennung in den letzten Jahren immer mehr Aufmerksamkeit erhalten und die damit verbundenen Anwendungen sind immer umfangreicher geworden.
Um eine Technologie zu verstehen, müssen wir zunächst verstehen, welches Problem sie löst, wie sie Durchbrüche erzielt, welches Stadium sie erreicht hat und welchen Herausforderungen sie gegenübersteht. Als nächstes führen wir eine umfassende Analyse durch.
Wo wird die Fußgänger-Reidentifizierung eingesetzt?
Zunächst einmal ist die Fußgänger-Neuidentifizierung, wie oben erwähnt, eine wichtige Ergänzung zur Gesichtserkennungstechnologie.
Voraussetzung für die Gesichtserkennung ist: ein deutliches frontales Gesichtsfoto. Wenn das Bild jedoch nur die Rückseite oder andere Winkel zeigt, in denen das Gesicht nicht zu sehen ist, schlägt die Gesichtserkennung fehl. Zu diesem Zeitpunkt kann die Zielperson durch die Fußgänger-Neuidentifizierung weiterhin anhand von Merkmalen wie Körperhaltung und Kleidung verfolgt werden.
Derzeit wird die Technologie zur Fußgänger-Neuidentifizierung häufig in den Bereichen Sicherheit, autonomes Fahren und anderen Bereichen eingesetzt. Zum Beispiel:
Intelligente Sicherheit:Polizeiermittler können ReID verwenden, um verdächtige Personen schnell zu überprüfen.
Intelligentes Suchsystem:An Orten mit hohem Verkehrsaufkommen, wie etwa Flughäfen und Bahnhöfen, kann ReID verwendet werden, um verloren gegangene Kinder und ältere Menschen zu finden;
Intelligentes Geschäft:ReID kann Benutzerbewegungen anhand von Fotos des Fußgängeraufkommens dynamisch in Echtzeit verfolgen, um die Interessen des Benutzers im Einkaufszentrum zu verstehen und das Benutzererlebnis zu optimieren.
Autonomes Fahrsystem:ReID kann Fußgänger besser identifizieren und die Sicherheit beim autonomen Fahren verbessern.
Der Schlüssel zum technologischen Durchbruch: Große Datensätze
Laut einschlägigen Forschern erfordert die Realisierung der Fußgänger-Reidentifizierungstechnologie im Allgemeinen die folgenden fünf Schritte:
- Datenerhebung;
- Generierung von Begrenzungsrahmen;
- Annotation von Trainingsdaten;
- Modelltraining;
- Fußgängerrückholung
Dabei ist die Datenerfassung als erster Schritt die Grundlage der gesamten Forschung zur Fußgänger-Reidentifizierung.In den letzten Jahren konnten dank der Förderung und Unterstützung umfangreicher Datensätze bedeutende Durchbrüche bei der Wiederidentifizierung von Personen erzielt werden.
In diesem Artikel werden mehrere häufig verwendete Datensätze zur Fußgängererkennung für Ihre Forschung und Ihr Modelltraining vorgestellt.
INRIA-Personendatensatz Fußgängererkennungsdatensatz
Der INRIA-Personendatensatz ist derzeit einer der beliebtesten und am weitesten verbreiteten statischen Datensätze zur Fußgängererkennung.Veröffentlicht 2005 vom INRIA (Französisches Nationales Institut für Information und Automatisierung). Dieser Datensatz wird verwendet, um aufrecht stehende Fußgänger in Bildern und Videos zu erkennen.
Dieser Datensatz enthält Daten in zwei Formaten.
Kategorie 1: Originalbilder und entsprechende aufrechte Fußgängeranmerkungen;
Kategorie 2: Positive Bilder von aufrecht stehenden Fußgängern und die entsprechenden negativen Bilder, normalisiert auf 64 × 128 Pixel.
Die grundlegenden Informationen des Datensatzes lauten wie folgt:
INRIA-Personendatensatz
Verlag: INRIA
Enthaltene Menge:Der Trainingssatz und der Testsatz enthalten insgesamt 2573 Bilder
Datenformat:Positive Proben liegen im PNG-Format vor, negative Proben im JPG-Format
Datengröße:969 MB
Aktualisierungszeit:2005
Downloadadresse:https://orion.hyper.ai/datasets/5331
Verwandte Artikel:
UCSD-Videodatensatz zu Fußgängern
Fußgänger-Videodaten der UCSD wurden von der University of California und der City University of Hong Kong gesammelt und organisiert und im Februar 2013 veröffentlicht.
Dieser Datensatz wird zur Bewegungssegmentierung und Menschenmengenzählung verwendet.Der Datensatz enthält Videos von Fußgängern auf dem Bürgersteig der UCSD (University of California, San Diego), alle von einer fest installierten Kamera.
Alle Videos sind 8-Bit-Graustufenvideos, haben eine Größe von 238 × 158 und eine Auflösung von 10 Bildern/Sekunde. Das Originalvideo hat eine Auflösung von 740 × 480 und 30 Bilder/Sekunde und kann auf Anfrage bereitgestellt werden.
Das Videoverzeichnis enthält Videos von zwei Szenen (aufgeteilt in zwei Verzeichnisse, vidf und vidd). Jede Szene befindet sich in ihrem eigenen vidX-Verzeichnis und ist in eine Reihe von PNG-Fragmenten aufgeteilt.
Die grundlegenden Informationen des Datensatzes lauten wie folgt:
UCSD-Fußgängerdatensatz
Verlag: UCSD, Stadtuniversität Hongkong
Enthaltene Menge:Etwa 10 Stunden Video
Datenformat:.png
Datengröße:vidf: 787 MB; Video: 672 MB
Aktualisierungszeit:Februar 2013
Downloadadresse:https://orion.hyper.ai/datasets/9370
Verwandte Artikel:
Caltech-Benchmark zur Fußgängererkennung
Die Caltech Pedestrian Detection Benchmark-Datenbank wurde 2009 vom California Institute of Technology veröffentlicht und wird jedes Jahr kontinuierlich aktualisiert.
Diese Datenbank ist derzeit die größte Fußgängerdatenbank und enthält etwa 10 Stunden Videomaterial.Die Aufnahmen erfolgen überwiegend mit Bordkameras von Fahrzeugen im normalen Stadtverkehr und haben eine Videoauflösung von 640×480 und 30 Bildern pro Sekunde.
Insgesamt sind im Video etwa 250.000 Einzelbilder (ca. 137 Minuten), 350.000 Rechtecke und 2.300 Fußgänger annotiert. Darüber hinaus werden auch die zeitliche Entsprechung zwischen den rechteckigen Kästen und ihren Okklusionsbedingungen kommentiert.
Die grundlegenden Informationen des Datensatzes lauten wie folgt:
Caltech-Fußgängerdatensatz
Verlag: Kalifornisches Institut der Technologie
Enthaltene Menge:Der Trainingssatz und der Testsatz enthalten insgesamt 2573 Bilder
Datenformat:.jpg
Datengröße:11,12 GB
Aktualisierungszeit:Juli 2019
Downloadadresse:https://orion.hyper.ai/datasets/5334
Verwandte Artikel:
Was sind die fortgeschrittenen Methoden?
Die Forschung auf dem Gebiet der Reidentifizierung von Personen läuft seit fast drei Jahrzehnten. In den letzten Jahren hat diese Technologie dank umfangreicher Datensätze und der Entwicklung des Deep Learning große Fortschritte gemacht.
Hier zitieren wir zwei der neuesten Methoden zu Ihrem Studium und als Referenz.
Beseitigen Sie die Stilunterschiede zwischen verschiedenen Kameras
Auf der wichtigsten internationalen Konferenz zum Thema Computer Vision CVPR 2020 veröffentlichte die Chinesische Akademie der Wissenschaften ein Papier Unity Style Transfer zur Neuidentifizierung von PersonenMitte,Es wird eine UnityStyle-Anpassungsmethode vorgeschlagen, die die Stilunterschiede zwischen verschiedenen Kameras vereinheitlichen kann.
Unabhängig davon, ob es sich um dieselbe oder um unterschiedliche Kameras handelt, kommt es beim Aufnehmen von Bildern aufgrund der Einflüsse von Zeit, Beleuchtung, Wetter usw. zu großen Unterschieden, was die Zielabfrage erschwert.
Um dieses Problem zu lösen, hat das Forschungsteam zunächst UnityGAN erstellt, um die Stiländerungen zwischen Kameras zu lernen und formstabile Styleunity-Bilder für jede Kamera zu generieren, die sie UnityStyle-Bilder nennen.
gleichzeitig,Sie verwenden UnityStyle-Bilder, um die Stilunterschiede zwischen verschiedenen Bildern auszugleichen, damit die Abfrage (Abfrageziel) und die Galerie (Bildbibliothek) besser zueinander passen.
Anschließend wendeten sie die vorgeschlagene Methode auf das Reidentifizierungsmodell an und erwarteten, dadurch stilrobustere Deep Features für die Abfrage zu erhalten.
Das Team führte umfangreiche Experimente mit weit verbreiteten Benchmark-Datensätzen durch, um die Leistung des vorgeschlagenen Frameworks zu bewerten, und die experimentellen Ergebnisse bestätigten die Überlegenheit des vorgeschlagenen Modells.
Lösung des Fußgänger-Verdeckungsproblems
Artikel des Megvii Research Institute auf der CVPR 2020 veröffentlicht „Information höherer Ordnung ist wichtig: Lernbeziehung und Topologie für die Wiedererkennung verdeckter Personen“Mitte,Es löst das häufigste und schwierigste Problem in diesem Bereich: die Verdeckung durch Fußgänger.
In diesem Dokument umfasst der vom Megvii Research Institute vorgeschlagene Rahmen:
- Ein semantisches Modul erster Ordnung (S), das die semantischen Merkmale der Schlüsselpunktregionen des menschlichen Körpers extrahieren kann;
- Ein höherstufiges Relationsmodul (R), das die Relationsinformationen zwischen verschiedenen semantischen lokalen Merkmalen modellieren kann;
- Ein menschliches Topologiemodul höherer Ordnung (T), das eine robuste Ausrichtung lernt und die Ähnlichkeit zwischen zwei Bildern vorhersagt.
Diese drei Module werden gemeinsam und durchgängig trainiert.
Zuvor haben wirDas heißeste ECCV der Geschichte hat begonnen und diese Papiere sind so interessant.Das von der Huazhong University of Science and Technology, der Sun Yat-sen University und dem Tencent Youtu Lab veröffentlichte Papier „Bitte stören Sie mich nicht: Neuidentifizierung von Fußgängern bei Störungen durch andere Fußgänger“ wurde vorgestellt. Die in diesem Artikel vorgeschlagene Methode löst das Problem fehlerhafter Abrufergebnisse, die durch Störungen durch Fußgänger im Hintergrund oder die Verdeckung menschlicher Körper in Szenen mit Menschenansammlungen verursacht werden. Interessierte Studierende können es sich noch einmal ansehen.
Heiße Technologien, aber immer noch Schwierigkeiten
Derzeit ist die erneute Identifizierung von Fußgängern noch mit erheblichen Herausforderungen verbunden, unter anderem in Bezug auf Daten, Effizienz und Leistung.
Was die Daten betrifft, so werden die erhaltenen Videodaten aufgrund unterschiedlicher Szenen (z. B. drinnen und draußen), Stiländerungen in verschiedenen Jahreszeiten, Lichtunterschieden zu verschiedenen Zeiten (z. B. Tag und Nacht) usw. sehr unterschiedlich sein. Dies sind alles Störfaktoren für die Wiederidentifizierung von Fußgängern.Diese Störfaktoren beeinträchtigen nicht nur die Genauigkeit der Modellerkennung, sondern auch die Erkennungseffizienz.
Obwohl wir gesehen haben, dass die Wiederidentifizierung von Fußgängern in bestehenden Fällen sogar die menschlichen Lösungsfähigkeiten übertrifft, müssen noch immer viele Probleme gelöst werden.
Gehen Sie zum folgenden Link:https://orion.hyper.ai/datasets,Suchen Sie nach „Fußgänger“ oder klicken Sie aufLesen Sie den Originalartikel,Es sind weitere Datensätze zur Fußgängererkennung verfügbar.
-- über--