PALT: Parameter-Lite-Übertragung von Sprachmodellen für die Wissensgraphen-Vervollständigung

Diese Arbeit präsentiert einen parameterarmen Transfer-Lernansatz für vortrainierte Sprachmodelle (LM) zur Vervollständigung von Wissensgraphen (KG). Im Gegensatz zum Fine-Tuning, bei dem alle LM-Parameter angepasst werden, optimieren wir lediglich eine geringe Anzahl neuer Parameter, während die ursprünglichen LM-Parameter fixiert bleiben. Dies erreichen wir durch eine Umformulierung der Aufgabe der Wissensgraphen-Vervollständigung als „Lückentext-Aufgabe“ und die Einführung eines parameterarmen Encoders oberhalb der ursprünglichen Sprachmodelle. Wir zeigen, dass Sprachmodelle durch die Anpassung deutlich weniger Parameter im Vergleich zum vollständigen Fine-Tuning nicht-triviale Transferleistung erzielen und mit vorherigen state-of-the-art-Ansätzen wettbewerbsfähig sind. Beispielsweise übertrifft unser Ansatz auf einem Benchmark für Wissensgraphen-Vervollständigung Ansätze, die vollständig fine-tuned wurden, bei der Anpassung lediglich von 1 % der Parameter. Der Quellcode und die Datensätze sind unter \url{https://github.com/yuanyehome/PALT} verfügbar.