我们提出ReasonBert，一种增强语言模型长程关系推理能力及多源（可能为混合）上下文推理能力的预训练方法。与现有预训练方法仅从自然文本的局部上下文中提取学习信号不同，我们提出了一种广义的远程监督（distant supervision）概念，可自动连接多个文本片段与表格，构建需要长程推理的预训练样本。该方法模拟了多种推理类型，包括交叉整合多条证据、在不同证据之间建立关联桥梁，以及识别无法回答的情形。我们在涵盖单跳至多跳、纯文本至纯表格再到混合形式的多种抽取式问答数据集上进行了全面评估，结果表明，ReasonBert在一系列强基线模型上均取得了显著性能提升。少样本实验进一步验证了该预训练方法能显著提高样本效率。