人間の活動およびジェスチャー認識は、特にスマートホームや生活支援を支援する分野において急速に発展するアンビエントインテリジェンス分野の重要な構成要素である。本研究では、深度データおよびスケルトンデータを用いた自動的な手のジェスチャー認識に、畳み込みニューラルネットワーク（CNN）と再帰型ニューラルネットワーク（RNN）という2つの深層学習技術の力を統合することを提案する。これらのデータタイプはそれぞれ単独で用いられ、ニューラルネットワークの訓練に利用可能である。これまでに、スケルトン情報のみを前提とした場合、RNNは各関節の動きの時系列パターンの認識において優れた性能が報告されている。一方、本研究では深度データを活用し、CNNを用いて深度画像から重要な空間的情報を抽出することを目的とする。このCNNとRNNの連携構造（CNN+RNN）により、ジェスチャーの時系列パターンをより高精度に認識可能となる。さらに、スケルトン情報と深度情報の両方を統合するためのさまざまな融合手法を検討し、時空間的情報の抽出を図った。その結果、動的手のジェスチャーデータセット（Dynamic Hand Gesture-14/28）において、全体で85.46%の認識精度を達成した。