Le mécanisme d'auto-attention dans l'architecture Transformer, invariant à l'ordre de la séquence, nécessite des plongements positionnels (positional embeddings) pour encoder l'ordre temporel dans les prédictions de séries chronologiques. Nous soutenons que cette dépendance aux plongements positionnels restreint la capacité du Transformer à représenter efficacement les séquences temporelles, en particulier lorsqu'on utilise des fenêtres de rétention plus longues. Pour remédier à cela, nous introduisons une approche innovante qui combine les plongements RNN pyramidaux (Pyramid RNN embeddings, PRE) pour les séries chronologiques univariées avec la capacité du Transformer à modéliser les dépendances multivariées. Les PRE, en utilisant des couches de convolution unidimensionnelle pyramidales, construisent des caractéristiques convolutives multiscale qui préservent l'ordre temporel. De plus, les RNNs superposés sur ces caractéristiques apprennent des représentations de séries chronologiques multiscale sensibles à l'ordre de la séquence. Cette intégration dans les modèles Transformer dotés de mécanismes d'attention entraîne des améliorations significatives des performances. Nous présentons le PRformer, un modèle intégrant les PRE avec un encodeur Transformer standard, qui montre des performances de pointe sur divers jeux de données réels. Ces performances mettent en lumière l'efficacité de notre approche pour exploiter des fenêtres de rétention plus longues et soulignent le rôle crucial de représentations temporelles solides pour maximiser le potentiel du Transformer dans les tâches de prédiction. Le code est disponible dans ce dépôt : \url{https://github.com/usualheart/PRformer}.