HyperAIHyperAI

Command Palette

Search for a command to run...

MLMLM: Link Prediction mit Mean Likelihood Masked Language Model

Louis Clouatre Philippe Trempe Amal Zouaq Sarath Chandar

Zusammenfassung

Wissensbasen (KBs) sind leicht abfragbar, verifizierbar und interpretierbar. Sie skaliern jedoch mit manueller Arbeitszeit und hochwertigen Daten. Maskierte Sprachmodelle (MLMs), wie BERT, skaliern hingegen mit Rechenleistung sowie unstrukturierten Rohtextdaten. Der in solchen Modellen enthaltene Wissen ist jedoch nicht direkt interpretierbar. Wir schlagen vor, die Link-Vorhersage mit MLMs durchzuführen, um sowohl die Skalierbarkeitsprobleme von KBs als auch die Interpretierbarkeitsprobleme von MLMs anzugehen. Dazu führen wir MLMLM, das Mean Likelihood Masked Language Model, ein – eine Methode, die die mittlere Wahrscheinlichkeit der Generierung verschiedener Entitäten vergleicht, um die Link-Vorhersage auf eine handhabbare Weise durchzuführen. Wir erzielen state-of-the-art (SotA)-Ergebnisse auf dem WN18RR-Datensatz und die besten Ergebnisse ohne Entitäts-Embeddings auf dem FB15k-237-Datensatz. Zudem erzielen wir überzeugende Ergebnisse bei der Link-Vorhersage für bisher nicht bekannte Entitäten, was MLMLM zu einer geeigneten Methode für die Einführung neuer Entitäten in eine Wissensbasis macht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
MLMLM: Link Prediction mit Mean Likelihood Masked Language Model | Paper | HyperAI