Selbst-Distillation mit Meta-Learning für die Wissensgraphen-Vervollständigung

In diesem Paper stellen wir einen selbstdistillierenden Rahmen mit Meta-Learning (MetaSD) für die Vervollständigung von Wissensgraphen unter dynamischer Pruning-Methode vor, der darauf abzielt, komprimierte Graph-Embeddings zu lernen und seltene Beispiele (long-tail-Samples) effektiver zu behandeln. Konkret führen wir zunächst eine dynamische Pruning-Technik ein, um aus einem großen Quellmodell ein kleineres, pruntes Modell zu gewinnen, wobei die Pruning-Maske des prunten Modells nach jeder Epoche adaptiv aktualisiert werden kann, sobald die Modellgewichte aktualisiert wurden. Das pruntes Modell soll gegenüber schwer zu merkenden Beispielen (z. B. long-tail-Samples) empfindlicher sein als das Quellmodell. Anschließend schlagen wir eine einstufige Meta-Selfdistillation-Methode vor, um umfassendes Wissen vom Quellmodell auf das pruntes Modell zu übertragen, wobei die beiden Modelle während des Trainings dynamisch ko-evolvieren. Insbesondere nutzen wir die Leistung des prunten Modells, das gemeinsam mit dem Quellmodell in einer Iteration trainiert wird, um über Meta-Learning die Fähigkeit des Quellmodells zur Wissensübertragung für die nächste Iteration zu verbessern. Umfangreiche Experimente zeigen, dass MetaSD gegenüber starken Baselines konkurrenzfähige Ergebnisse erzielt, während es gleichzeitig zehnmal kleiner als die Baselines ist.