Les tâches d'inférence telles que la sélection de phrase réponse (AS2) ou la vérification de faits sont généralement résolues en fine-tunant des modèles basés sur les transformeurs comme des classificateurs individuels de paires de phrases. Des études récentes montrent que ces tâches bénéficient de la modélisation des dépendances entre plusieurs phrases candidates de manière conjointe. Dans cet article, nous montrons d'abord que les transformeurs pré-entraînés populaires se comportent médiocrement lorsqu'ils sont utilisés pour le fine-tuning sur des tâches d'inférence à plusieurs candidats. Nous proposons ensuite un nouvel objectif d'entraînement préalable qui modélise les sémantiques au niveau du paragraphe à travers plusieurs phrases d'entrée. Notre évaluation sur trois jeux de données AS2 et un jeu de données de vérification de faits démontre l'avantage de notre technique d'entraînement préalable par rapport aux approches traditionnelles, tant pour les transformeurs utilisés comme modèles conjoints dans les tâches d'inférence à plusieurs candidats, qu'en tant que cross-encoders pour les formulations par paires de phrases de ces tâches. Notre code et nos modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/amazon-research/wqa-multi-sentence-inference.