MLMLM: Link Prediction mit Mean Likelihood Masked Language Model

Wissensbasen (KBs) sind leicht abfragbar, verifizierbar und interpretierbar. Sie skaliern jedoch mit manueller Arbeitszeit und hochwertigen Daten. Maskierte Sprachmodelle (MLMs), wie BERT, skaliern hingegen mit Rechenleistung sowie unstrukturierten Rohtextdaten. Der in solchen Modellen enthaltene Wissen ist jedoch nicht direkt interpretierbar. Wir schlagen vor, die Link-Vorhersage mit MLMs durchzuführen, um sowohl die Skalierbarkeitsprobleme von KBs als auch die Interpretierbarkeitsprobleme von MLMs anzugehen. Dazu führen wir MLMLM, das Mean Likelihood Masked Language Model, ein – eine Methode, die die mittlere Wahrscheinlichkeit der Generierung verschiedener Entitäten vergleicht, um die Link-Vorhersage auf eine handhabbare Weise durchzuführen. Wir erzielen state-of-the-art (SotA)-Ergebnisse auf dem WN18RR-Datensatz und die besten Ergebnisse ohne Entitäts-Embeddings auf dem FB15k-237-Datensatz. Zudem erzielen wir überzeugende Ergebnisse bei der Link-Vorhersage für bisher nicht bekannte Entitäten, was MLMLM zu einer geeigneten Methode für die Einführung neuer Entitäten in eine Wissensbasis macht.