Segmentale räumlich-zeitliche CNNs für feingranulare Aktionensegmentierung

Die gemeinsame Segmentierung und Klassifizierung feingranularer Aktionen ist für Anwendungen im Bereich der Mensch-Roboter-Interaktion, Videoüberwachung und Bewertung menschlicher Fähigkeiten von großer Bedeutung. Trotz erheblicher Fortschritte bei der großmaßstäblichen Aktionserkennung in jüngster Zeit bleibt die Leistung der neuesten Methoden zur feingranularen Aktionserkennung jedoch gering. Wir schlagen ein Modell für die Aktionssegmentierung vor, das niedrigstufige räumlich-zeitliche Merkmale mit einem hochstufigen segmentalen Klassifikator kombiniert. Unser räumlich-zeitliches CNN besteht aus einer räumlichen Komponente, die Faltungsfiltre verwendet, um Informationen über Objekte und ihre Beziehungen zu erfassen, sowie einer zeitlichen Komponente, die große eindimensionale Faltungsfiltre verwendet, um Informationen darüber zu gewinnen, wie sich diese Beziehungen im Laufe der Zeit verändern. Diese Merkmale werden zusammen mit einem semi-Markov-Modell eingesetzt, das Übergänge von einer Aktion zur anderen modelliert. Wir stellen einen effizienten segmentalen Inferenzalgorithmus für dieses Modell vor, der um mehrere Größenordnungen schneller ist als der aktuelle Ansatz. Die Effektivität unseres segmentalen räumlich-zeitlichen CNNs wird anhand von Koch- und chirurgischen Aktionendatensätzen demonstriert, bei denen wir eine erhebliche Leistungssteigerung im Vergleich zu aktuellen Baseline-Methoden beobachten.