Une tâche essentielle dans la conception de systèmes de questions-réponses (QA) consiste à sélectionner la phrase réponse (AS2), c’est-à-dire à identifier la phrase contenant (ou constituant) la réponse à une question parmi un ensemble de documents pertinents récupérés. Dans cet article, nous proposons trois nouveaux objectifs d’entraînement préalable à base de transformateurs au niveau des phrases, intégrant des sémantiques au niveau des paragraphes, à l’intérieur comme entre les documents, afin d’améliorer les performances des transformateurs pour la tâche AS2 et de réduire la dépendance aux grandes collections étiquetées. Plus précisément, le modèle est chargé de prédire : (i) si deux phrases proviennent du même paragraphe, (ii) si une phrase donnée provient d’un paragraphe donné, et (iii) si deux paragraphes proviennent du même document. Nos expérimentations sur trois jeux de données publics et un jeu de données industriels pour l’AS2 démontrent de manière empirique l’avantage de nos transformateurs pré-entraînés par rapport aux modèles de référence tels que RoBERTa et ELECTRA dans la tâche AS2.