Neuere Studien haben die Leistungsfähigkeit von rekurrenten neuronalen Netzen für maschinelle Übersetzung, Bildunterschriftenerstellung und Spracherkennung demonstriert. Für die Aufgabe, zeitliche Strukturen in Videos zu erfassen, bestehen jedoch noch zahlreiche offene Forschungsfragen. Aktuelle Forschungen legen nahe, eine einfache Strategie zur zeitlichen Merkmalspooling zu verwenden, um den zeitlichen Aspekt von Videos zu berücksichtigen. Wir zeigen jedoch, dass diese Methode für die Gestenerkennung nicht ausreichend ist, bei der zeitliche Informationen im Vergleich zu allgemeinen Videoklassifizierungsaufgaben diskriminativer sind. Wir untersuchen tiefere Architekturen für die Gestenerkennung in Videos und schlagen eine neue neuronale Netzarchitektur vor, die temporale Faltungen und bidirektionale Rekurrenz einbezieht und end-to-end trainierbar ist (End-to-End-Trainierbarkeit). Unsere wichtigsten Beiträge sind zweifach: Erstens zeigen wir, dass Rekurrenz für diese Aufgabe entscheidend ist; zweitens zeigen wir, dass das Hinzufügen temporaler Faltungen zu erheblichen Verbesserungen führt. Wir evaluieren die verschiedenen Ansätze am Montalbano-Gestenerkennung-Datensatz, wo wir Stand-der-Technik-Ergebnisse erzielen.