回答文選択（AS2）は、正確な質問応答パイプラインを構築するための核心的な要素である。AS2モデルは、与えられた質問に対して候補文が回答として適している確率に基づいて、複数の候補文をランク付けする。現在のAS2の最先端技術では、大規模なアノテーション付きデータセット上で事前学習されたトランスフォーマーを転移学習し、候補文の周囲の局所的文脈情報を活用している。本論文では、文脈的なAS2の微調整タスクを模倣するように設計された3つの事前学習目標を提案する。これにより、文脈的AS2タスクへの微調整に特化した言語モデル（LM）の学習が可能となる。公開データセット3件および大規模な産業用データセット2件を対象とした実験の結果、RoBERTaおよびELECTRAに適用した本研究の事前学習アプローチにより、ベースラインの文脈的AS2精度が最大で8%向上することが確認された。