Nous présentons ReasonBert, une méthode de pré-entraînement qui enrichit les modèles de langage avec la capacité de raisonner sur des relations à longue portée et sur plusieurs contextes, éventuellement hybrides. Contrairement aux méthodes de pré-entraînement existantes, qui ne tirent des signaux d'apprentissage qu'à partir des contextes locaux des textes naturels, nous proposons une notion généralisée de supervision à distance afin de relier automatiquement plusieurs fragments de texte et de tableaux, afin de construire des exemples de pré-entraînement nécessitant un raisonnement à longue portée. Différents types de raisonnement sont simulés, notamment l'intersection de plusieurs éléments de preuve, le pontage entre un élément de preuve et un autre, ainsi que la détection de cas sans réponse. Nous menons une évaluation approfondie sur une variété de jeux de données de réponse par extraction, allant de questions à un seul saut (single-hop) à celles à plusieurs sauts (multi-hop), et couvrant des scénarios textuels purs, tabulaires purs ou hybrides, exigeant diverses capacités de raisonnement. Les résultats montrent que ReasonBert obtient des améliorations remarquables par rapport à une série de modèles de référence performants. Des expériences en peu d'exemples (few-shot) démontrent également que notre méthode de pré-entraînement améliore de manière significative l'efficacité en échantillons.