Nous présentons MemSum (Multi-step Episodic Markov Decision Process Extractive SUMmarizer), un résumeur extractif basé sur l'apprentissage par renforcement qui est enrichi à chaque étape avec des informations sur l'historique actuel d'extraction. Lorsque MemSum sélectionne itérativement des phrases pour le résumé, il prend en compte un ensemble d'informations large qui serait également intuitivement utilisé par les humains dans cette tâche : 1) le contenu textuel de la phrase, 2) le contexte textuel global du reste du document, et 3) l'historique d'extraction composé de l'ensemble des phrases déjà extraites. Avec une architecture légère, MemSum obtient des performances de pointe (ROUGE) sur les ensembles de test pour le résumé de documents longs provenant de PubMed, arXiv et GovReport. Les études d'ablation démontrent l'importance des informations locales, globales et historiques. Une évaluation par des humains confirme la haute qualité et la faible redondance des résumés générés, résultant de la prise en compte par MemSum de l'historique d'extraction.