Lernen feinabgestimmter lokaler Darstellungen für die Mehrpersonen-Posenschätzung

In diesem Paper stellen wir eine neue Methode namens Residual Steps Network (RSN) vor. RSN aggregiert Merkmale mit gleicher räumlicher Auflösung (Intra-Level-Merkmale) effizient, um detaillierte lokale Darstellungen zu erzeugen, die reichhaltige niedrigstufige räumliche Informationen bewahren und somit eine präzise Lokalisierung von Schlüsselpunkten ermöglichen. Darüber hinaus beobachten wir, dass die Ausgabemerkmale unterschiedlich stark zum endgültigen Leistungsresultat beitragen. Um dieses Problem anzugehen, schlagen wir eine effiziente Aufmerksamkeitsmechanik namens Pose Refine Machine (PRM) vor, die ein Gleichgewicht zwischen lokalen und globalen Darstellungen in den Ausgabemerkmalen herstellt und die Schlüsselpunktlagen weiter verfeinert. Unser Ansatz erreichte den ersten Platz beim COCO Keypoint Challenge 2019 und erzielt state-of-the-art Ergebnisse sowohl auf den COCO- als auch auf den MPII-Benchmarks, ohne zusätzliche Trainingsdaten oder vortrainierte Modelle zu nutzen. Unser einzelnes Modell erreicht eine Leistung von 78,6 auf dem COCO test-dev-Datensatz und 93,0 auf dem MPII test-Datensatz. Ensembles von Modellen erreichen 79,2 auf COCO test-dev und 77,1 auf dem COCO test-challenge-Datensatz. Der Quellcode ist für weitere Forschung öffentlich verfügbar unter https://github.com/caiyuanhao1998/RSN/