HyperAIHyperAI

Command Palette

Search for a command to run...

KnowPrompt: Wissensbasiertes Prompt-Tuning mit synergetischer Optimierung für die Relationsextraktion

Xiang Chen Ningyu Zhang Chuanqi Tan Fei Huang Xin Xie Shumin Deng Yunzhi Yao Luo Si Huajun Chen

Zusammenfassung

Kürzlich haben Ansätze zur Prompt-Tuning vielversprechende Ergebnisse für spezifische Few-Shot-Klassifikationsaufgaben erzielt. Das Kernkonzept der Prompt-Tuning besteht darin, Textstücke (also Vorlagen) in die Eingabe einzufügen und eine Klassifikationsaufgabe in ein Problem des maschinellen Sprachmodellierens mit Maskierung zu verwandeln. Für die Relationsextraktion ist jedoch die Bestimmung eines geeigneten Prompt-Vorlagens mit domänenspezifischem Wissen verbunden, und es ist mühsam und zeitaufwendig, ein passendes Label-Wort zu finden. Zudem existiert zwischen den Relationen reichhaltiges semantisches und vorheriges Wissen, das nicht vernachlässigt werden darf. Aus diesem Grund konzentrieren wir uns darauf, das Wissen zwischen den Relationen in die Prompt-Tuning für die Relationsextraktion zu integrieren und schlagen einen Ansatz vor, der als Knowledge-aware Prompt-tuning with synergistic optimization (KnowPrompt) bezeichnet wird. Insbesondere injizieren wir latentes Wissen, das in den Relationen enthalten ist, in die Erstellung von Prompts durch lernfähige virtuelle Typ- und Antwortwörter. Anschließend optimieren wir ihre Darstellung unter strukturellen Bedingungen synergetisch. Umfangreiche experimentelle Ergebnisse auf fünf Datensätzen sowohl bei Standard- als auch bei Low-Resource-Einstellungen zeigen die Effektivität unseres Ansatzes. Unser Code und unsere Datensätze sind unter https://github.com/zjunlp/KnowPrompt zur Reproduzierbarkeit verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
KnowPrompt: Wissensbasiertes Prompt-Tuning mit synergetischer Optimierung für die Relationsextraktion | Paper | HyperAI