KnowPrompt: 지식 인지 프롬프트 조정과 시너지 최적화를 통한 관계 추출

최근, 프롬프트 튜닝(prompt-tuning)은 특정 소수 샘플 분류 작업에서 유망한 결과를 달성하였습니다. 프롬프트 튜닝의 핵심 아이디어는 입력에 텍스트 조각(즉, 템플릿)을 삽입하여 분류 작업을 마스킹 언어 모델링 문제로 변환하는 것입니다. 그러나 관계 추출의 경우, 적절한 프롬프트 템플릿을 결정하기 위해서는 도메인 전문 지식이 필요하며, 적합한 라벨 단어를 얻는 것은 번거롭고 시간이 많이 걸립니다. 또한, 관계 라벨 간에 존재하는 풍부한 의미론적 및 사전 지식을 무시할 수 없습니다. 이에 따라, 우리는 관계 라벨 간의 지식을 프롬프트 튜닝에 통합하고, 이를 위해 시너지 최적화를 통해 지식 인지형 프롬프트 튜닝 접근법(Knowledge-aware Prompt-tuning with Synergistic Optimization, KnowPrompt)을 제안합니다. 구체적으로, 학습 가능한 가상 타입 단어와 답변 단어를 사용하여 관계 라벨에 내재된 잠재적인 지식을 프롬프트 구성에 주입합니다. 그런 다음, 구조화된 제약 조건으로 이들의 표현을 시너지적으로 최적화합니다. 표준 설정과 저자원 설정에서 다섯 개 데이터셋에 대한 광범위한 실험 결과가 우리의 접근법의 효과성을 입증하였습니다. 우리의 코드와 데이터셋은 재현성을 위해 https://github.com/zjunlp/KnowPrompt에서 제공됩니다.