L'amélioration des performances des traceurs siamois formés hors ligne devient de plus en plus difficile aujourd'hui, car les informations fixes du modèle extraites de la première image ont été presque entièrement exploitées, mais ils sont peu capables de résister aux changements d'apparence de la cible. Les traceurs existants dotés de mécanismes de mise à jour du modèle s'appuient sur une optimisation numérique coûteuse en temps et sur des stratégies complexes conçues manuellement pour atteindre des performances compétitives, ce qui les empêche de suivre en temps réel et d'être utilisés dans des applications pratiques. Dans cet article, nous proposons un nouveau cadre de suivi basé sur un réseau de mémoire espace-temps capable d'exploiter pleinement les informations historiques liées à la cible pour mieux s'adapter aux variations d'apparence pendant le suivi. Plus précisément, un nouveau mécanisme de mémoire est introduit, qui stocke les informations historiques de la cible pour guider le traceur à se concentrer sur les régions les plus informatives dans l'image actuelle. De plus, le calcul de similarité au niveau pixel du réseau de mémoire permet à notre traceur de générer des boîtes englobantes beaucoup plus précises de la cible. Des expériences étendues et des comparaisons avec de nombreux traceurs concurrents sur des benchmarks à grande échelle difficiles, tels que OTB-2015, TrackingNet, GOT-10k, LaSOT, UAV123 et VOT2018, montrent que notre traceur surpassent tous les méthodes précédentes en temps réel sans artifices supplémentaires tout en fonctionnant à 37 FPS. Le code est disponible à l'adresse suivante : https://github.com/fzh0917/STMTrack.