Détection de la haine dans les memes à l'aide d'approches multimodales d'apprentissage profond : Solution primée au défi des Memes haineux

Les memes sur Internet sont souvent inoffensifs et parfois amusants. Cependant, en utilisant certains types d'images, de texte ou des combinaisons de ceux-ci, le meme apparemment inoffensif devient un type multimodal de discours haineux – un meme haineux. Le Défi des Memes Haineux est une compétition unique qui se concentre sur la détection du discours haineux dans les memes multimodaux et propose un nouveau jeu de données contenant plus de 10 000 nouveaux exemples de contenu multimodal. Nous utilisons VisualBERT – conçu pour être le BERT de la vision et du langage – qui a été formé de manière multimodale sur des images et des légendes, et nous appliquons l'apprentissage ensembliste. Notre approche atteint un AUROC de 0,811 avec une précision de 0,765 sur l'ensemble de test du défi et s'est classée troisième parmi 3 173 participants au Défi des Memes Haineux.