HyperAIHyperAI

Command Palette

Search for a command to run...

PALT: Parameter-Lite-Übertragung von Sprachmodellen für die Wissensgraphen-Vervollständigung

Jianhao Shen Chenguang Wang Ye Yuan Jiawei Han Heng Ji Koushik Sen Ming Zhang Dawn Song

Zusammenfassung

Diese Arbeit präsentiert einen parameterarmen Transfer-Lernansatz für vortrainierte Sprachmodelle (LM) zur Vervollständigung von Wissensgraphen (KG). Im Gegensatz zum Fine-Tuning, bei dem alle LM-Parameter angepasst werden, optimieren wir lediglich eine geringe Anzahl neuer Parameter, während die ursprünglichen LM-Parameter fixiert bleiben. Dies erreichen wir durch eine Umformulierung der Aufgabe der Wissensgraphen-Vervollständigung als „Lückentext-Aufgabe“ und die Einführung eines parameterarmen Encoders oberhalb der ursprünglichen Sprachmodelle. Wir zeigen, dass Sprachmodelle durch die Anpassung deutlich weniger Parameter im Vergleich zum vollständigen Fine-Tuning nicht-triviale Transferleistung erzielen und mit vorherigen state-of-the-art-Ansätzen wettbewerbsfähig sind. Beispielsweise übertrifft unser Ansatz auf einem Benchmark für Wissensgraphen-Vervollständigung Ansätze, die vollständig fine-tuned wurden, bei der Anpassung lediglich von 1 % der Parameter. Der Quellcode und die Datensätze sind unter \url{https://github.com/yuanyehome/PALT} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp