KnowPrompt: Wissensbasiertes Prompt-Tuning mit synergetischer Optimierung für die Relationsextraktion

Kürzlich haben Ansätze zur Prompt-Tuning vielversprechende Ergebnisse für spezifische Few-Shot-Klassifikationsaufgaben erzielt. Das Kernkonzept der Prompt-Tuning besteht darin, Textstücke (also Vorlagen) in die Eingabe einzufügen und eine Klassifikationsaufgabe in ein Problem des maschinellen Sprachmodellierens mit Maskierung zu verwandeln. Für die Relationsextraktion ist jedoch die Bestimmung eines geeigneten Prompt-Vorlagens mit domänenspezifischem Wissen verbunden, und es ist mühsam und zeitaufwendig, ein passendes Label-Wort zu finden. Zudem existiert zwischen den Relationen reichhaltiges semantisches und vorheriges Wissen, das nicht vernachlässigt werden darf. Aus diesem Grund konzentrieren wir uns darauf, das Wissen zwischen den Relationen in die Prompt-Tuning für die Relationsextraktion zu integrieren und schlagen einen Ansatz vor, der als Knowledge-aware Prompt-tuning with synergistic optimization (KnowPrompt) bezeichnet wird. Insbesondere injizieren wir latentes Wissen, das in den Relationen enthalten ist, in die Erstellung von Prompts durch lernfähige virtuelle Typ- und Antwortwörter. Anschließend optimieren wir ihre Darstellung unter strukturellen Bedingungen synergetisch. Umfangreiche experimentelle Ergebnisse auf fünf Datensätzen sowohl bei Standard- als auch bei Low-Resource-Einstellungen zeigen die Effektivität unseres Ansatzes. Unser Code und unsere Datensätze sind unter https://github.com/zjunlp/KnowPrompt zur Reproduzierbarkeit verfügbar.