本稿では、長距離の関係や複数の可能性のあるハイブリッドな文脈に対して推論を行う能力を言語モデルに付加するための事前学習手法「ReasonBert」を提案する。従来の事前学習手法が自然に出現するテキストの局所的文脈からの学習信号のみを活用するのに対し、本研究では、複数のテキストや表を自動的に結びつけることで、長距離推論を必要とする事前学習サンプルを生成するための一般化された「遠隔監視（distant supervision）」の概念を提案する。これにより、複数の証拠の交差推論、一つの証拠から別の証拠への橋渡し、および答えが得られないケースの検出といった、さまざまな種類の推論をシミュレートすることができる。単一ホップから多ホップまで、テキストのみ、表のみ、およびハイブリッドな形式を含む多様な抽出型質問応答データセットにおいて包括的な評価を行い、ReasonBertが多数の強力なベースラインに対して顕著な性能向上を達成することを示した。さらに、少サンプル学習（few-shot）実験により、本事前学習手法がサンプル効率を著しく向上させることも実証した。