Körpergitter als Punkte

In dieser Arbeit betrachten wir die anspruchsvolle Aufgabe der Mehrpersonen-3D-Körpergitter-Schätzung. Bestehende Methoden sind in der Regel auf zwei Stufen basiert – eine Stufe für die Personlokalisation und eine weitere Stufe für die individuelle Körpergitterschätzung. Dies führt zu redundanten Pipelines mit hohen Rechenkosten und einer verschlechterten Leistung bei komplexen Szenen (z.B. verdeckten Personeninstanzen). In dieser Arbeit präsentieren wir ein einstufiges Modell, Body Meshes as Points (BMP), um den Prozess zu vereinfachen und sowohl Effizienz als auch Leistung zu steigern. Insbesondere verwendet BMP eine neue Methode, die mehrere Personeninstanzen als Punkte im Raum-Tiefen-Raum darstellt, wobei jeder Punkt einem Körpergitter zugeordnet ist. Durch diese Darstellung kann BMP in einem einzigen Schritt direkt Körpergitter für mehrere Personen vorhersagen, indem es gleichzeitig die Personinstanzpunkte lokalisiert und die entsprechenden Körpergitter schätzt. Um die Tiefenreihenfolge aller Personen in derselben Szene besser zu erfassen, entwirft BMP einen einfachen aber effektiven Inter-Instanz-Ordinaltiefenverlust, um eine tiefenkohärente Körpergitterschätzung zu erzielen. BMP führt außerdem eine neuartige Keypoint-basierte Data-Augmentation ein, um die Robustheit des Modells gegenüber verdeckten Personeninstanzen zu verbessern. Ausführliche Experimente auf den Benchmarks Panoptic, MuPoTS-3D und 3DPW zeigen deutlich den Stand-der-Kunst-Effizienz von BMP bei der Mehrpersonen-Körpergitterschätzung sowie herausragende Genauigkeit. Der Quellcode ist unter folgendem Link verfügbar: https://github.com/jfzhang95/BMP.