Malveillant ou bénin ? Vers une modulation efficace du contenu pour les vidéos destinées aux enfants

Les plateformes de vidéos en ligne reçoivent des centaines d’heures de contenus téléversés chaque minute, rendant la modération manuelle des contenus impossible. Malheureusement, les utilisateurs les plus vulnérables aux contenus vidéo malveillants sont les enfants âgés de 1 à 5 ans, dont l’attention est facilement attirée par des explosions de couleurs et de sons. Les escrocs cherchant à monétiser leurs contenus peuvent créer des vidéos destinées aux enfants, superficiellement similaires à des contenus éducatifs, mais comportant des personnages effrayants ou répugnants, des mouvements violents, de la musique forte et des bruits troublants. Bien que des plateformes de diffusion vidéo majeures comme YouTube aient mis en œuvre des mesures pour atténuer la présence de contenus malveillants sur leurs plateformes, ces vidéos échappent souvent aux outils actuels de modération automatisée, conçus principalement pour détecter du contenu pornographique ou protégé par des droits d’auteur. Ce papier présente notre outil Malicious or Benign, destiné à stimuler la recherche sur la modération automatisée des vidéos destinées aux enfants. Nous introduisons 1) un outil personnalisable d’annotation de vidéos, 2) un nouveau jeu de données comprenant des cas difficiles à détecter de contenus malveillants, et 3) une suite de benchmarks mettant à l’épreuve des modèles d’classification vidéo de pointe.