HyperAIHyperAI

Command Palette

Search for a command to run...

Selbst-Distillation mit Meta-Learning für die Wissensgraphen-Vervollständigung

Yunshui Li Junhao Liu Chengming Li Min Yang

Zusammenfassung

In diesem Paper stellen wir einen selbstdistillierenden Rahmen mit Meta-Learning (MetaSD) für die Vervollständigung von Wissensgraphen unter dynamischer Pruning-Methode vor, der darauf abzielt, komprimierte Graph-Embeddings zu lernen und seltene Beispiele (long-tail-Samples) effektiver zu behandeln. Konkret führen wir zunächst eine dynamische Pruning-Technik ein, um aus einem großen Quellmodell ein kleineres, pruntes Modell zu gewinnen, wobei die Pruning-Maske des prunten Modells nach jeder Epoche adaptiv aktualisiert werden kann, sobald die Modellgewichte aktualisiert wurden. Das pruntes Modell soll gegenüber schwer zu merkenden Beispielen (z. B. long-tail-Samples) empfindlicher sein als das Quellmodell. Anschließend schlagen wir eine einstufige Meta-Selfdistillation-Methode vor, um umfassendes Wissen vom Quellmodell auf das pruntes Modell zu übertragen, wobei die beiden Modelle während des Trainings dynamisch ko-evolvieren. Insbesondere nutzen wir die Leistung des prunten Modells, das gemeinsam mit dem Quellmodell in einer Iteration trainiert wird, um über Meta-Learning die Fähigkeit des Quellmodells zur Wissensübertragung für die nächste Iteration zu verbessern. Umfangreiche Experimente zeigen, dass MetaSD gegenüber starken Baselines konkurrenzfähige Ergebnisse erzielt, während es gleichzeitig zehnmal kleiner als die Baselines ist.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp