Ce travail propose un nouveau jeu de données pour le classification multimodale, centré sur la détection de discours de haine dans les mémos multimodaux. Il est conçu de manière à ce que les modèles unimodaux échouent, tandis que seuls les modèles multimodaux peuvent réussir : des exemples difficiles (« biais bénins ») sont intégrés au jeu de données afin de rendre difficile la dépendance aux signaux unimodaux. La tâche exige une raisonnement subtil, mais reste aisée à évaluer comme un problème de classification binaire. Nous fournissons des résultats de référence pour les modèles unimodaux, ainsi que pour des modèles multimodaux présentant divers degrés de sophistication. Nous constatons que les méthodes de pointe se comportent très mal par rapport aux humains (64,73 % contre 84,7 % de précision), ce qui illustre la difficulté de la tâche et met en évidence le défi que pose ce problème important à la communauté scientifique.