Klonen von Outfits aus realen Bildern zu 3D-Charakteren für eine generalisierbare Personenerkennung

Kürzlich haben umfangreiche synthetische Datensätze sich als sehr nützlich für die generalisierbare Personen-Wiedererkennung (Person Re-Identification) erwiesen. Allerdings sind die in existierenden Datensätzen synthetisierten Personen größtenteils kartoonartig und tragen zufällige Kleiderkombinationen, was ihre Leistungsfähigkeit einschränkt. Um dieses Problem zu lösen, wird in dieser Arbeit ein automatischer Ansatz vorgeschlagen, um die gesamten Outfits von realen Personenaufnahmen direkt auf virtuelle 3D-Charaktere zu klonen, sodass jeder so erzeugte virtuelle Mensch seinem realen Vorbild sehr ähnlich erscheint.Speziell werden auf Basis der UV-Texelabbildung (UV texture mapping) zwei Klonmethoden entwickelt: registrierte Kleidungsabbildung (registered clothes mapping) und homogene Stoffausdehnung (homogeneous cloth expansion). Bei der registrierten Abbildung werden durch Perspektiv-Homographie realweltliche Kleidungsstücke auf die entsprechenden Positionen des UV-Diagramms geworfen, wobei die Kleider-Schlüsselpunkte auf den Personenaufnahmen detektiert und auf regulären UV-Karten mit klaren Kleiderstrukturen beschriftet wurden. Für unsichtbare Teile von Kleidern und unregelmäßige UV-Karten segmentiert die homogene Ausdehnung einen homogenen Bereich auf dem Kleidungsstück als realistisches Muster oder Zelle und dehnt diese Zelle aus, um das UV-Diagramm zu füllen.Darüber hinaus wird eine Ähnlichkeits-Diversitäts-Ausdehnungsstrategie vorgeschlagen, bei der Personenaufnahmen in Clustern gruppiert werden, pro Cluster Bilder ausgewählt werden und Outfits für die Erzeugung von 3D-Charakteren geklont werden. Auf diese Weise können virtuelle Menschen sowohl dicht in visueller Ähnlichkeit skaliert werden, um das Modelllernen herausfordernder zu gestalten, als auch vielfältig in der Population, um die Stichprobenverteilung zu bereichern. Schließlich wurde durch das Rendern der geklonten Charaktere in Unity3D-Szenarien ein realistischerer virtueller Datensatz namens ClonedPerson erstellt, der 5.621 Identitäten und 887.766 Bilder enthält.Experimentelle Ergebnisse zeigen, dass das Modell, das auf ClonedPerson trainiert wurde, eine bessere Generalisierungskraft aufweist als Modelle, die auf anderen bekannten realweltlichen und synthetischen Personen-Wiedererkennungsdatensätzen trainiert wurden. Das ClonedPerson-Projekt ist unter https://github.com/Yanan-Wang-cs/ClonedPerson verfügbar.