In diesem Artikel wird eine neue Methode vorgestellt, nämlich gewichtete hierarchische Tiefenbewegungskarten (WHDMM) in Kombination mit dreikanaligen tiefen neuronalen convolutionalen Netzwerken (3ConvNets), zur Anerkennung menschlicher Aktionen aus Tiefenkarten bei kleinen Trainingsdatensätzen. Drei Strategien werden entwickelt, um die Fähigkeit von ConvNets zur Extraktion diskriminativer Merkmale für die Anerkennung optimal auszunutzen. Erstens werden verschiedene Blickwinkel durch Rotation der 3-D-Punkte der aufgenommenen Tiefenkarten nachgeahmt. Dadurch wird nicht nur mehr Datenmaterial synthetisiert, sondern auch erreicht, dass die trainierten ConvNets tolerant gegenüber Blickwinkelvariationen sind. Zweitens werden WHDMMs auf mehreren zeitlichen Skalen erstellt, um die räumlich-zeitlichen Bewegungsmuster von Aktionen in zweidimensionale räumliche Strukturen zu kodieren. Diese zweidimensionalen Strukturen werden zur Verbesserung der Anerkennung durch Umwandlung der WHDMMs in Pseudofarbbilder weiter verfeinert. Drittens werden die drei ConvNets mit Modellen initialisiert, die aus ImageNet stammen, und unabhängig voneinander auf den farbkodierten WHDMMs, die in drei orthogonalen Ebenen konstruiert wurden, feinabgestimmt. Der vorgeschlagene Algorithmus wurde auf den Datensätzen MSRAction3D, MSRAction3DExt, UTKinect-Action und MSRDailyActivity3D unter Verwendung von Cross-Subject-Protokollen evaluiert. Zudem wurde die Methode auf einem großen Datensatz getestet, der aus den obengenannten Datensätzen zusammengestellt wurde. Die vorgeschlagene Methode erzielte auf den meisten einzelnen Datensätzen Ergebnisse, die um 2–9 % besser waren. Darüber hinaus behielt die vorgeschlagene Methode ihre Leistungsfähigkeit auf dem großen Datensatz bei, während die Leistung bestehender Methoden mit zunehmender Anzahl von Aktionen abnahm.