MEHR Multimodaler Datensatz Zur Extraktion Von Objekt-Entitäts-Beziehungen

MORE (A Multimodal Object-Entity Relation Extraction Dataset) ist ein multimodaler Datensatz zur Extraktion von Objekt-Entitäts-Beziehungen, der 2024 vom National Key Laboratory der Universität Nanjing vorgeschlagen wurde. Die zugehörigen Ergebnisse der Studie lauten:MEHR: Ein multimodaler Datensatz zur Extraktion von Objekt-Entitäts-Beziehungen mit einer Benchmark-Evaluierung".

Dieser Datensatz stellt durch die Kombination von Text- und Bildinformationen eine komplexe Herausforderung für maschinelle Lernmodelle dar, Entitäten präzise aus Text zu extrahieren und korrekte Beziehungen zu visuellen Objekten in Bildern herzustellen. Der MORE-Datensatz enthält 21 verschiedene Beziehungstypen und deckt 20.264 multimodale Beziehungsfakten ab, die mit 3.559 Paaren von Textbeschriftungen und entsprechenden Bildern annotiert sind. Jede Tatsache im Datensatz beinhaltet aus Text erkannte Entitäten und aus Bildern erkannte Objekte. Dies erfordert, dass das Modell nicht nur den Textinhalt versteht, sondern auch den Bildinhalt erkennen und verstehen kann. Darüber hinaus enthält der Datensatz 13.520 visuelle Objekte mit durchschnittlich 3,8 Objekten pro Bild.