Fusion image et texte pour UPMC Food-101 en utilisant BERT et CNN

Le monde numérique moderne devient de plus en plus multimodal. En naviguant sur Internet, les images sont souvent associées au texte, ce qui rend les problèmes de classification combinant ces deux modalités particulièrement fréquents.Dans cet article, nous étudions la classification multimodale en exploitant à la fois des informations textuelles et des représentations visuelles d’un même concept.Nous examinons deux méthodes fondamentales pour réaliser la fusion multimodale, que nous adaptons à l’aide de techniques de stacking afin d’améliorer la gestion de ce type de problème.Dans cette étude, nous utilisons le jeu de données UPMC Food-101, qui constitue un ensemble multimodal difficile et bruyant, bien représentatif de ce type de problème.Nos résultats montrent que la technique de fusion précoce proposée, combinée à une approche fondée sur le stacking, dépasse l’état de l’art sur le jeu de données utilisé.