Ensemble De Données D'extraction De Relations Objet-entité Multimodales PLUS

MORE (A Multimodal Object-Entity Relation Extraction Dataset) est un ensemble de données d'extraction de relations objet-entité multimodales proposé par le National Key Laboratory de l'Université de Nanjing en 2024. Les résultats de l'article associé sont "PLUS : Un ensemble de données d'extraction de relations objet-entité multimodales avec une évaluation de référence".

Cet ensemble de données, en combinant des informations textuelles et visuelles, présente un défi complexe pour les modèles d'apprentissage automatique afin d'extraire avec précision des entités du texte et d'établir des relations correctes avec les objets visuels dans les images. L'ensemble de données MORE contient 21 types de relations différents, couvrant 20 264 faits de relations multimodales annotés avec 3 559 paires de légendes de texte et d'images correspondantes. Chaque fait de l'ensemble de données implique des entités reconnues à partir du texte et des objets détectés à partir d'images, ce qui nécessite que le modèle comprenne non seulement le contenu du texte, mais soit également capable de reconnaître et de comprendre le contenu de l'image. De plus, l’ensemble de données contient 13 520 objets visuels, avec une moyenne de 3,8 objets par image.