End-to-End Feinmaschige Aktionssegmentierung und -erkennung unter Verwendung von bedingten Markow-Modellen und diskriminativem Sparsen Coding

Feinmaschige Aktionssegmentierung und -erkennung ist eine wichtige, jedoch herausfordernde Aufgabe. Gegeben ist eine lange, unbeschnittene Folge von Kinematikdaten, wobei die Aufgabe darin besteht, die Aktion in jedem Zeitrahmen zu klassifizieren und die Zeitreihe in die korrekte Aktionenfolge zu segmentieren. In dieser Arbeit schlagen wir ein neues Framework vor, das ein zeitliches bedingtes Markow-Netz (Conditional Random Field, CRF) Modell mit einer leistungsfähigen rahmengestützten Darstellung auf der Grundlage diskriminativer dünnbesetzter Kodierung kombiniert. Wir stellen einen end-to-end Algorithmus vor, der die Gewichte des CRF-Modells gemeinsam lernt, welche sowohl Klassifikationskosten als auch Übergangskosten zwischen Aktionen umfassen, sowie ein überkomplettes Wörterbuch von mittelstufigen Aktionselementen. Dies führt zu einem CRF-Modell, das durch dünnbesetzte Kodierungsmerkmale gesteuert wird, die mithilfe eines diskriminativen Wörterbuchs gewonnen werden, das unter verschiedenen Aktionen geteilt wird und an die Aufgabe des strukturierten Ausgabelernens angepasst ist. Wir evaluieren unsere Methode anhand dreier chirurgischer Aufgaben unter Verwendung von Kinematikdaten aus dem JIGSAWS-Datensatz sowie anhand einer Nahrungsvorbereitungsaufgabe unter Verwendung von Beschleunigungsdaten aus dem 50 Salads Datensatz. Unsere Ergebnisse zeigen, dass die vorgeschlagene Methode den Stand der Technik oder besser entspricht.