Les mémos haineux sont devenus une préoccupation majeure sur Internet. La détection de ces mémos haineux nécessite que le système comprenne conjointement les modalités visuelle et textuelle. Notre enquête révèle que l'espace d'embedding des systèmes existants basés sur CLIP manque de sensibilité aux différences subtiles dans les mémos qui sont essentielles pour une classification correcte de la haine. Nous proposons de construire un espace d'embedding sensible à la haine grâce à une formation contrastive guidée par la recherche. Notre approche atteint des performances de pointe sur le jeu de données HatefulMemes avec un AUROC de 87,0, surpassant largement des modèles multimodaux plus grands et mieux affinés. Nous présentons un système de détection de mémos haineux basé sur la recherche, capable d'identifier la haine en se basant sur des données non vues lors de l'entraînement. Cela permet aux développeurs de mettre à jour le système de détection de mémos haineux simplement en ajoutant de nouveaux exemples sans avoir à reprendre l'entraînement, une caractéristique souhaitable pour les services réels dans le paysage en constante évolution des mémos haineux sur Internet.