LSTM-Pose-Maschinen

Wir haben beobachtet, dass die neuesten Stand-der-Technik-Ergebnisse bei der Schätzung der menschlichen Pose aus einem einzelnen Bild durch mehrstufige Faltungsneuronale Netze (CNN) erzielt wurden. Trotz der überlegenen Leistung auf statischen Bildern leiden die Anwendungen dieser Modelle auf Videos nicht nur unter hoher Rechenintensität, sondern auch unter einer Leistungsverschlechterung und Flackern. Solche suboptimalen Ergebnisse werden hauptsächlich darauf zurückgeführt, dass es unmöglich ist, sequentielle geometrische Konsistenz zu gewährleisten, schwere Abbildqualitätsverluste (wie Bewegungsunschärfe und Verdeckung) zu behandeln sowie die zeitliche Korrelation zwischen Videoframes zu erfassen. In dieser Arbeit schlagen wir ein neuartiges rekurrentes Netzwerk vor, um diese Probleme anzugehen. Wir zeigen, dass die Anwendung des Gewichteteilungsverfahrens auf mehrstufige CNNs als ein Rekurrentes Neuronales Netzwerk (RNN) umgeschrieben werden kann. Diese Eigenschaft entkoppelt das Verhältnis zwischen den verschiedenen Netzwerkestufen und führt zu einer deutlich schnelleren Ausführung des Netzwerks für Videos. Sie ermöglicht zudem die Verwendung von Long Short-Term Memory (LSTM)-Einheiten zwischen Videoframes. Wir stellten fest, dass solches RNN mit Speichererweiterung sehr effektiv ist, um geometrische Konsistenz zwischen Frames aufrechtzuerhalten. Es behandelt zudem gut Qualitätsverluste in Videos und stabilisiert erfolgreich die sequentiellen Ausgaben. Die Experimente zeigten, dass unser Ansatz auf zwei großen Video-Pose-Schätz-Benchmarks signifikant bessere Ergebnisse als aktuelle Stand-der-Technik-Methoden erzielte. Wir untersuchten auch die Speicherzellen innerhalb der LSTMs und lieferten Erkenntnisse darüber, warum dieses Mechanismus die Vorhersage für videobasierte Pose-Schätzungen verbessert.