Mehrstufiger RGB-basierter Transfer Learning-Pipeline für die Handaktivitätserkennung

Die Erkennung von Handaktivitäten aus erster Person ist eine anspruchsvolle Aufgabe, insbesondere wenn nur begrenzte Daten zur Verfügung stehen. In diesem Paper greifen wir diese Herausforderung an, indem wir einen neuen kostengünstigen, mehrstufigen Lernpipelineansatz für die Erkennung von Handaktivitäten aus erster Person basierend auf RGB-Bildsequenzen unter Verwendung einer begrenzten Datenmenge vorschlagen. Für eine gegebene RGB-Bildsequenz zur Aktivitätserkennung werden in der ersten Stufe interessierende Regionen mittels eines vortrainierten neuronalen Netzes (NN) extrahiert. In der zweiten Stufe werden hierauf hochlevelige räumliche Merkmale mittels vortrainierter tiefer neuronaler Netze gewonnen. In der dritten Stufe werden zeitliche Abhängigkeiten erlernt. Schließlich wird in der letzten Stufe ein Klassifikator für Handaktivitätssequenzen mithilfe einer post-fusion Strategie erlernt, die auf den zuvor erlernten zeitlichen Abhängigkeiten angewendet wird. Experimente an zwei realen Datensätzen zeigen, dass unsere Pipeline den Stand der Technik erreicht. Zudem demonstriert die vorgeschlagene Pipeline, dass sie auch bei begrenzten Daten gute Ergebnisse erzielt.