La détection des mémoes haineux est un domaine de recherche récent qui exige à la fois une compréhension visuelle et linguistique du mémo, ainsi qu'une certaine connaissance contextuelle pour obtenir de bons résultats. Ce rapport technique présente la solution primée du Hateful Meme Detection Challenge 2020, qui consiste à étendre les modèles d'automates visuels-linguistiques de pointe afin de traiter ce problème. En fin de rapport, nous soulignons également les limites de la méthode actuelle ainsi que des pistes potentielles pour son amélioration.