Amélioration de la reconnaissance d'entités nommées multimodales avec des connaissances affinées auxiliaires dans MNER : ChatGPT

La Reconnaissance d'Entités Nommées Multimodale (MNER) sur les réseaux sociaux vise à améliorer la prédiction des entités textuelles en intégrant des indices basés sur les images. Les études existantes se concentrent principalement sur l'optimisation de l'utilisation des informations pertinentes provenant des images ou sur l'intégration de connaissances externes à partir de bases de connaissances explicites. Cependant, ces méthodes négligent soit la nécessité de fournir au modèle des connaissances externes, soit rencontrent des problèmes de redondance élevée dans les connaissances récupérées. Dans cet article, nous présentons PGIM -- un cadre en deux étapes qui vise à exploiter ChatGPT comme une base de connaissances implicite et à lui permettre de générer heuristiquement des connaissances auxiliaires pour une prédiction d'entités plus efficace. Plus précisément, PGIM comprend un module de Conscience des Exemples Similaires Multimodaux qui sélectionne des exemples appropriés parmi un petit nombre d'échantillons artificiels prédéfinis. Ces exemples sont ensuite intégrés dans un modèle de prompt formaté adapté à la MNER et guident ChatGPT à générer des connaissances affinées auxiliaires. Enfin, les connaissances acquises sont combinées avec le texte original et introduites dans un modèle aval pour un traitement ultérieur. De nombreux expériences montrent que PGIM surpassent les méthodes les plus avancées actuellement disponibles sur deux jeux de données classiques en MNER et démontrent une plus grande robustesse et capacité de généralisation.