HyperAIHyperAI

Command Palette

Search for a command to run...

Generative Prompt Tuning für die Beziehungsklassifizierung

Jiale Han Shuai Zhao Bo Cheng Shengkun Ma Wei Lu

Zusammenfassung

Das Nutzen von Anweisungen (Prompts), um das in vortrainierten Sprachmodellen enthaltene Wissen für nachgelagerte Aufgaben zu erforschen, ist inzwischen ein aktives Forschungsthema geworden. Aktuelle Methoden zur Anpassung von Anweisungen wandeln die nachgelagerten Aufgaben hauptsächlich in maskierte Sprachmodelle durch Hinzufügen von Lückentext-Phrasen und Abbildung aller Kategorien auf Verbalisierungen mit fester Länge um, was sich als effektiv für Aufgaben mit einfachen Kategorienräumen erwiesen hat. Bei der Anwendung auf Relationenklassifikation mit komplexen Kategorienräumen können jedoch herkömmliche Methoden zur Anpassung von Anweisungen Schwierigkeiten haben, Kategorienverbalisierungen mit beliebiger Länge zu verarbeiten, aufgrund starrer Einschränkungen der Anweisungen. Inspiriert durch die Text-Ergänzungs-Aufgabe beim Vortrainieren generativer Modelle, die flexibel fehlende Textabschnitte vorhersagen können, schlagen wir eine neuartige generative Methode zur Anpassung von Anweisungen vor, um die Relationenklassifikation als Ergänzungsproblem zu reformulieren. Dies befreit unseren Ansatz von den Einschränkungen aktueller anweisungsbasierter Ansätze und ermöglicht es uns so, die reichen Semantiken von Entitätstypen und Relationstypen vollständig auszunutzen. Darüber hinaus entwickeln wir eine entitätsgeführte Dekodierung und diskriminatives Relationenscoring, um während der Inferenz Relationen effektiv und effizient zu generieren und auszurichten. Ausführliche Experimente unter vollständig überwachten Bedingungen sowie bei geringen Ressourcen zeigen die Effektivität unseres Ansatzes.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp