Les publicités sponsorisées apparaissent à côté des résultats de recherche lorsque les consommateurs recherchent des produits et services sur les moteurs de recherche. En tant que fondement essentiel des publicités de recherche, la modélisation de la pertinence suscite un intérêt croissant en raison des défis scientifiques importants et de la valeur pratique considérable qu’elle représente. Dans cet article, nous abordons le problème de la modélisation multimodale dans les publicités sponsorisées, qui consiste à modéliser la pertinence entre une requête utilisateur et une publicité commerciale à l’aide d’informations structurées multimodales. Pour résoudre ce problème, nous proposons une architecture Transformer, nommée AdsCVLR (Ads data on Commercial Visual-Linguistic Representation), intégrant un apprentissage contrastif, qui étend naturellement l’encodeur Transformer aux entrées multimodales complémentaires, servant ainsi d’agrégateur puissant des caractéristiques image-texte. Nous avons également mis à disposition un jeu de données public de publicités, comprenant 480 000 paires étiquetées requête-publicité, enrichies d’informations structurées telles que l’image, le titre, le vendeur, la description, etc. Expérimentalement, nous avons évalué le modèle AdsCVLR sur un grand jeu de données issu de l’industrie, et les résultats d’essais en ligne et hors ligne démontrent clairement l’avantage de notre approche.