Phrasenerkennung und Verankerung (PEG)

Phrase Extraction und Grounding (PEG) ist eine Aufgabe, die die natürliche Sprachverarbeitung mit der Computer Vision verbindet. Ihr Ziel ist es, Phrasen aus Texten zu extrahieren und gleichzeitig die entsprechenden Objekte in Bildern zu lokalisieren. Diese Aufgabe verbessert die Genauigkeit und Feinheit des Modells bei der Szeneinterpretation durch die Fusion multimodaler Informationen und hat erheblichen Anwendungswert in Bereichen wie Bildunterschriften, visuelle Fragebeantwortung und Inhaltsabruf.