Ein Ensemble von Wissensaustauschmodellen für die dynamische Handsignalerkennung

Der Fokus dieses Papers liegt auf der dynamischen Gestenerkennung im Kontext der Interaktion zwischen Mensch und Maschine. Wir schlagen ein Modell vor, das aus zwei Sub-Netzwerken besteht: einem Transformer und einem rekurrenten neuronalen Netzwerk (RNN) basierend auf einem geordneten Neuronen-Langzeit-Kurzzeit-Speicher (ON-LSTM). Jedes Sub-Netzwerk wird unabhängig trainiert, um die Aufgabe der Gestenerkennung ausschließlich anhand von Skelett-Gelenkinformationen zu erfüllen. Aufgrund der unterschiedlichen Architektur extrahieren die beiden Sub-Netzwerke unterschiedliche Merkmale, wodurch ein Wissensaustausch zwischen ihnen möglich ist. Durch Knowledge Distillation werden die Merkmale und Vorhersagen beider Sub-Netzwerke zusammengeführt und in einen neuen, fusionierten Klassifikator integriert. Zudem kann ein zyklischer Lernrate-Ansatz verwendet werden, um eine Reihe von Modellen zu generieren, die in einem Ensemble kombiniert werden, um eine allgemeiner gültige Vorhersage zu erzielen. Das vorgeschlagene Ensemble aus wissensbasiert vernetzten Modellen erreicht insgesamt eine Genauigkeit von 86,11 %, wie anhand des Dynamic Hand Gesture-14/28-Datensatzes getestet wurde, und basiert ausschließlich auf Skelettinformationen.