Generative Prompt Tuning für die Beziehungsklassifizierung

Das Nutzen von Anweisungen (Prompts), um das in vortrainierten Sprachmodellen enthaltene Wissen für nachgelagerte Aufgaben zu erforschen, ist inzwischen ein aktives Forschungsthema geworden. Aktuelle Methoden zur Anpassung von Anweisungen wandeln die nachgelagerten Aufgaben hauptsächlich in maskierte Sprachmodelle durch Hinzufügen von Lückentext-Phrasen und Abbildung aller Kategorien auf Verbalisierungen mit fester Länge um, was sich als effektiv für Aufgaben mit einfachen Kategorienräumen erwiesen hat. Bei der Anwendung auf Relationenklassifikation mit komplexen Kategorienräumen können jedoch herkömmliche Methoden zur Anpassung von Anweisungen Schwierigkeiten haben, Kategorienverbalisierungen mit beliebiger Länge zu verarbeiten, aufgrund starrer Einschränkungen der Anweisungen. Inspiriert durch die Text-Ergänzungs-Aufgabe beim Vortrainieren generativer Modelle, die flexibel fehlende Textabschnitte vorhersagen können, schlagen wir eine neuartige generative Methode zur Anpassung von Anweisungen vor, um die Relationenklassifikation als Ergänzungsproblem zu reformulieren. Dies befreit unseren Ansatz von den Einschränkungen aktueller anweisungsbasierter Ansätze und ermöglicht es uns so, die reichen Semantiken von Entitätstypen und Relationstypen vollständig auszunutzen. Darüber hinaus entwickeln wir eine entitätsgeführte Dekodierung und diskriminatives Relationenscoring, um während der Inferenz Relationen effektiv und effizient zu generieren und auszurichten. Ausführliche Experimente unter vollständig überwachten Bedingungen sowie bei geringen Ressourcen zeigen die Effektivität unseres Ansatzes.