MNER에서 ChatGPT 프롬프팅: 보조 정제 지식을 활용한 고도화된 다중 모드 명명된 개체 인식

소셜 미디어에서 다중모달 네임드 엔티티 인식(MNER)은 이미지 기반 힌트를 통합하여 텍스트 엔티티 예측을 개선하는 것을 목표로 합니다. 기존 연구는 주로 관련 이미지 정보의 활용도를 최대화하거나 명시적인 지식베이스에서 외부 지식을 통합하는 데 초점을 맞추고 있습니다. 그러나 이러한 방법들은 모델에 외부 지식을 제공할 필요성을 간과하거나, 검색된 지식의 과도한 중복 문제를 겪곤 합니다. 본 논문에서는 PGIM -- ChatGPT를 암시적 지식베이스로 활용하고, 이를 통해 보조 지식을 직관적으로 생성하여 더 효율적인 엔티티 예측을 가능하게 하는 두 단계 프레임워크를 제안합니다. 구체적으로, PGIM은 적은 수의 사전 정의된 인공 샘플에서 적절한 예제를 선택하는 다중모달 유사 예제 인식 모듈을 포함합니다. 이 예제들은 MNER에 맞춤화된 형식화된 프롬프트 템플릿에 통합되어 ChatGPT가 보조 정제된 지식을 생성하도록 안내합니다. 마지막으로, 획득한 지식은 원본 텍스트와 결합되어 후속 모델에 입력되어 추가 처리됩니다. 광범위한 실험 결과, PGIM은 두 가지 전통적인 MNER 데이터셋에서 최신 방법들을 능가하며, 더욱 강력한鲁棒性和泛化能力를 나타냈습니다 (robustness and generalization capability).注：最后两句中的“鲁棒性”和“泛化能力”是中文术语，可能是原文中的错误。根据上下文，正确的翻译应该是：광범위한 실험 결과, PGIM은 두 가지 전통적인 MNER 데이터셋에서 최신 방법들을 능가하며, 더욱 강력한 로버스트성과 일반화 능력을 나타냈습니다.