Fusion mehrerer Merkmale für die tiefenbasierte Aktenerkennung

Die Erkennung menschlicher Aktionen ist ein sehr aktives Forschungsthema im Bereich der Computer Vision und Mustererkennung. In letzter Zeit hat sich gezeigt, dass mit den durch neuere RGB-D-Sensoren erfassten dreidimensionalen (3D) Tiefendaten ein großes Potenzial für die Erkennung menschlicher Aktionen besteht. Es wurden mehrere Merkmale und/oder Algorithmen für die auf Tiefendaten basierende Aktionserkennung vorgeschlagen. Eine zentrale Frage stellt sich nun: Können wir ergänzende Merkmale identifizieren und diese kombinieren, um die Genauigkeit der Tiefendaten-basierten Aktionserkennung erheblich zu verbessern? Um diese Frage zu beantworten und ein tieferes Verständnis des Problems zu erlangen, untersuchen wir die Fusion verschiedener Merkmale für die Tiefendaten-basierte Aktionserkennung. Obwohl die Datenauswertung (Data Fusion) in anderen Bereichen bereits große Erfolge erzielt hat, wurde sie bisher noch nicht ausreichend für die 3D-Aktionserkennung erforscht. Es ergeben sich dabei mehrere offene Fragen, beispielsweise, ob die Fusion für die Tiefendaten-basierte Aktionserkennung tatsächlich vorteilhaft ist und wie sie korrekt durchgeführt werden sollte. In diesem Artikel untersuchen wir umfassend verschiedene Fusionsstrategien, wobei unterschiedliche Merkmale zur Charakterisierung von Aktionen in Tiefen-Videos eingesetzt werden. Zwei verschiedene Ebenen der Fusionsstrategien werden betrachtet, nämlich die Merkmals- und die Entscheidungsebene. An jeder Fusionsstufe werden verschiedene Methoden untersucht. Vier verschiedene Merkmale werden betrachtet, um Aktionen in Tiefen-Videos aus unterschiedlichen Perspektiven zu beschreiben. Die Experimente werden auf vier anspruchsvollen Tiefen-Aktion-Datenbanken durchgeführt, um die besten Fusionsmethoden allgemein zu evaluieren. Unsere experimentellen Ergebnisse zeigen, dass die vier untersuchten Merkmale sich gegenseitig ergänzen und dass geeignete Fusionsmethoden die Erkennungsgenauigkeit erheblich gegenüber jeder einzelnen Merkmalsart verbessern können. Vor allem zeigt sich, dass unsere auf Fusionsstrategien basierende Aktionserkennung die derzeit besten Ansätze auf diesen anspruchsvollen Datensätzen übertrifft.