La sélection de phrases réponse (AS2) constitue un élément central dans la construction d’un pipeline de réponse aux questions précis. Les modèles AS2 classent un ensemble de phrases candidates en fonction de leur probabilité de répondre à une question donnée. L’état de l’art en matière d’AS2 repose sur l’adaptation de modèles pré-entraînés basés sur les transformateurs, en les transférant sur de grandes bases de données annotées tout en exploitant les informations contextuelles locales autour de chaque phrase candidate. Dans cet article, nous proposons trois objectifs d’entraînement préalable conçus pour imiter la tâche de fine-tuning en situation réelle d’AS2 contextuelle. Cette approche permet de spécialiser les modèles linguistiques (LM) lors du fine-tuning pour l’AS2 contextuelle. Nos expérimentations menées sur trois jeux de données publics et deux jeux de données industriels à grande échelle montrent que nos méthodes d’entraînement préalable (appliquées à RoBERTa et ELECTRA) peuvent améliorer l’exactitude de la base contextuelle d’AS2 jusqu’à 8 % sur certains jeux de données.