Ces dernières années, les réseaux de neurones à mémoire à court et long terme (LSTM) ont été utilisés avec succès pour modéliser des données séquentielles de longueur variable. Cependant, les LSTM peuvent encore éprouver des difficultés à capturer les dépendances à long terme. Dans ce travail, nous avons tenté d'atténuer ce problème en introduisant une connexion de saut dynamique, capable d'apprendre à relier directement deux mots dépendants. Étant donné qu'il n'y a pas d'informations sur les dépendances dans les données d'entraînement, nous proposons une nouvelle méthode basée sur l'apprentissage par renforcement pour modéliser la relation de dépendance et connecter les mots dépendants. Le modèle proposé calcule les fonctions de transition récurrente en fonction des connexions de saut, offrant ainsi un avantage de saut dynamique par rapport aux RNN qui traitent systématiquement les phrases entières de manière séquentielle. Nos résultats expérimentaux sur trois tâches de traitement du langage naturel montrent que la méthode proposée peut atteindre de meilleures performances que les méthodes existantes. Dans l'expérience de prédiction des nombres, le modèle proposé a surpassé les LSTM en termes de précision d'environ 20 %.