Prompting ChatGPT in MNER: Erweiterte multimodale Namenserkennung mit zusätzlichen verfeinerten Wissensquellen

Die Multimodale Namenerkennung (MNER) in sozialen Medien strebt an, die Vorhersage von textuellen Entitäten durch die Einbeziehung bildbasierter Hinweise zu verbessern. Bestehende Studien konzentrieren sich hauptsächlich darauf, die Nutzung relevanter Bildinformationen zu maximieren oder externe Kenntnisse aus expliziten Wissensbasen zu integrieren. Allerdings entweder vernachlässigen diese Methoden die Notwendigkeit, das Modell mit externem Wissen zu versorgen, oder sie stoßen auf Probleme hoher Redundanz im abgerufenen Wissen. In dieser Arbeit stellen wir PGIM vor – ein zweistufiges Framework, das ChatGPT als implizite Wissensbasis nutzen und es heuristisch befähigen soll, unterstützendes Wissen für eine effizientere Entitätserkennung zu generieren. Insbesondere enthält PGIM ein Modul zur Multimodalitätsbewussten Auswahl ähnlicher Beispiele, das geeignete Beispiele aus einer kleinen Anzahl vordefinierter künstlicher Stichproben auswählt. Diese Beispiele werden dann in eine für MNER angepasste formulierte Prompt-Vorlage integriert und leiten ChatGPT an, unterstützendes verfeinertes Wissen zu generieren. Schließlich wird das erlangte Wissen mit dem ursprünglichen Text kombiniert und in ein nachgelagertes Modell eingespeist, um weitere Verarbeitungsschritte durchzuführen. Umfangreiche Experimente zeigen, dass PGIM auf zwei klassischen MNER-Datensätzen den aktuellen Stand der Technik übertrifft und eine größere Robustheit sowie bessere Generalisierungsfähigkeiten aufweist.