Nous présentons un nouveau modèle de Réseau Neuronal Récurent (RNN) profond pour la modélisation acoustique dans le domaine de la Reconnaissance Automatique de la Parole (ASR). Nous nommons notre contribution le modèle TC-DNN-BLSTM-DNN, qui combine un Réseau Neuronal Profond (DNN) avec une Convolution Temporelle (TC), suivi d'une Mémoire à Court et Long Terme Bidirectionnelle (BLSTM), et un dernier DNN. Le premier DNN agit comme processeur de caractéristiques pour notre modèle, la BLSTM génère ensuite un contexte à partir du signal acoustique séquentiel, et le dernier DNN prend ce contexte en entrée pour modéliser les probabilités a posteriori des états acoustiques. Nous obtenons un taux d'erreur de reconnaissance (WER) de 3,47 % sur la tâche eval92 du Wall Street Journal (WSJ), soit une amélioration relative supérieure à 8 % par rapport aux modèles DNN de base.