La modélisation des préférences dynamiques et évolutives des utilisateurs à partir de leurs comportements historiques est un défi majeur pour les systèmes de recommandation. Les méthodes précédentes utilisent des réseaux neuronaux séquentiels (par exemple, Réseau neuronal récurrent) pour encoder les interactions historiques des utilisateurs de gauche à droite en représentations cachées afin de faire des recommandations. Bien que ces méthodes obtiennent des résultats satisfaisants, elles supposent souvent une séquence rigidement ordonnée, ce qui n'est pas toujours réaliste. Nous soutenons que ces architectures unidirectionnelles de gauche à droite limitent la puissance des représentations de séquences historiques. À cette fin, nous introduisons un modèle de représentations bidirectionnelles basé sur les Transformers pour la recommandation séquentielle (BERT4Rec). Cependant, conditionner simultanément sur le contexte gauche et droit dans un modèle bidirectionnel profond rendrait l'entraînement trivial, car chaque élément pourrait indirectement « voir l'élément cible ». Pour résoudre ce problème, nous entraînons le modèle bidirectionnel en utilisant la tâche Cloze, consistant à prédire les éléments masqués dans la séquence en se basant conjointement sur leur contexte gauche et droit. Comparativement à la prédiction de l'élément suivant à chaque position d'une séquence, la tâche Cloze peut générer plus d'échantillons pour entraîner un modèle bidirectionnel plus puissant. Des expériences approfondies sur quatre jeux de données de référence montrent que notre modèle surpassent constamment divers modèles séquentiels de pointe.