HyperAIHyperAI

Command Palette

Search for a command to run...

Gemeinsame Mehrpersonen-Pose-Schätzung und semantische Körperteilsegmentierung

Fangting Xia; Peng Wang; Xianjie Chen; Alan Yuille

Zusammenfassung

Die Schätzung der menschlichen Körperhaltung und die semantische Segmentierung von Körperteilen sind zwei ergänzende Aufgaben im Bereich der Computer Vision. In dieser Arbeit schlagen wir vor, diese beiden Aufgaben für natürliche Bilder mit mehreren Personen gemeinsam zu lösen. Dabei dient die geschätzte Körperhaltung als objektbezogene Formvorhersage, um die Segmentierung der Körperteile zu regulieren, während die segmentierten Körperteile die Variation der Positionen der Körperhaltungen einschränken. Speziell trainieren wir zunächst zwei vollständig konvolutive Neuronale Netze (FCNs), nämlich Pose FCN und Part FCN, um eine anfängliche Schätzung des Potenzials von Körpergelenken und semantischen Körperteilen zu liefern. Anschließend wird das Potential der Gelenkpositionen durch eine vollständig vernetzte bedingte Markow-Zufallsfeld (FCRF) verfeinert, wobei ein neuartiger Segment-Gelenk-Glättungsterm verwendet wird, um semantische und räumliche Konsistenz zwischen den Teilen und den Gelenken zu fördern. Um die Segmentierung der Körperteile zu verfeinern, werden das verfeinerte Pose-Modell und das ursprüngliche Potential der Körperteile durch einen Part FCN integriert, wobei das Skelettfeature aus der Pose als zusätzlicher Regularisierungsansatz für die Segmentierung der Körperteile dient.Schließlich reduzieren wir die Komplexität des FCRF, indem wir menschliche Detektionsboxen induzieren und den Graphen innerhalb jeder Box inferieren, was die Inferenzzeit um ein Vielfaches beschleunigt – speziell vierzig Mal schneller.Da es keinen Datensatz gibt, der sowohl segmentierte Körperteile als auch Pose-Labels enthält, erweitern wir den PASCAL VOC-Teil-Datensatz um menschliche Pose-Gelenke und führen umfangreiche Experimente durch, um unsere Methode mit mehreren aktuellen Strategien zu vergleichen. Wir zeigen, dass unser Algorithmus auf diesem Datensatz in beiden Aufgaben deutlich überlegen ist gegenüber den konkurrierenden Methoden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Gemeinsame Mehrpersonen-Pose-Schätzung und semantische Körperteilsegmentierung | Paper | HyperAI