在MNER中提示ChatGPT：利用辅助精炼知识增强多模态命名实体识别

多模态命名实体识别（MNER）在社交媒体上的目标是通过结合图像线索来增强文本实体预测。现有的研究主要集中在最大化利用相关图像信息或从显式知识库中引入外部知识。然而，这些方法要么忽视了为模型提供外部知识的必要性，要么在检索到的知识中遇到高冗余的问题。本文提出了一种两阶段框架——PGIM，旨在利用ChatGPT作为隐式知识库，并启发其生成辅助知识以提高实体预测的效率。具体而言，PGIM包含一个多模态相似示例感知模块，该模块从少量预定义的人工样本中选择合适的示例。这些示例随后被整合到专门为MNER设计的格式化提示模板中，引导ChatGPT生成辅助精炼知识。最终，获取的知识与原始文本结合，并输入下游模型进行进一步处理。广泛的实验表明，PGIM在两个经典的MNER数据集上优于现有最先进方法，并表现出更强的鲁棒性和泛化能力。