Les systèmes d'avant-garde actuels en traitement du langage naturel (NLP) dépendent fortement des jeux de données annotés manuellement, qui sont coûteux à construire. Très peu de travaux exploitent adéquatement les données non annotées, telles que les marqueurs discursifs entre les phrases, principalement en raison de la rareté des données et de méthodes d'extraction inefficaces. Dans le présent travail, nous proposons une méthode pour découvrir automatiquement des paires de phrases dotées de marqueurs discursifs pertinents, et nous l'appliquons à de vastes quantités de données. Notre jeu de données résultant contient 174 marqueurs discursifs avec au moins 10 000 exemples chacun, même pour des marqueurs rares tels que « par hasard » (coincidentally) ou « incroyablement » (amazingly). Nous utilisons ces données comme supervision pour apprendre des plongements de phrases transférables. De plus, nous montrons que bien que l'apprentissage des représentations de phrases par prédiction des marqueurs discursifs produise des résultats d'avant-garde dans différentes tâches de transfert, il n'est pas clair que nos modèles aient tiré parti de la relation sémantique entre les phrases, ce qui laisse place à des améliorations futures. Nos jeux de données sont disponibles publiquement (https://github.com/synapse-developpement/Discovery).