LinkBERT: Vortrainieren von Sprachmodellen mit Dokumentenlinks

Sprachmodelle (LM) können bei der Vortrainung verschiedene Kenntnisse aus Textkorpora lernen, was den Downstream-Tasks hilft. Bestehende Methoden wie BERT modellieren jedoch ein einzelnes Dokument und erfassen keine Abhängigkeiten oder Kenntnisse, die über mehrere Dokumente hinweg reichen. In dieser Arbeit schlagen wir LinkBERT vor, eine Vortrainingsmethode für Sprachmodelle, die Links zwischen Dokumenten nutzt, z.B. Hyperlinks. Gegeben ein Textkorpus, betrachten wir es als Graph von Dokumenten und erstellen die Eingaben für das Sprachmodell, indem wir verlinkte Dokumente im gleichen Kontext platzieren. Wir vortrainieren dann das Sprachmodell mit zwei gemeinsamen selbstüberwachten Zielfunktionen: dem maskierten Sprachmodell und unserer neuen Vorschlag, der Vorhersage von Dokumentbeziehungen. Wir zeigen, dass LinkBERT BERT auf verschiedenen Downstream-Tasks in zwei Bereichen übertrifft: dem allgemeinen Bereich (vortrainiert auf Wikipedia mit Hyperlinks) und dem biomedizinischen Bereich (vortrainiert auf PubMed mit Zitationslinks). LinkBERT ist besonders effektiv für Multi-Hop-Reasoning und Few-Shot-Frage-Antwort-Aufgaben (+5% absoluter Gewinn bei HotpotQA und TriviaQA), und unser biomedizinisches LinkBERT setzt neue Standards in verschiedenen BioNLP-Aufgaben (+7% bei BioASQ und USMLE). Wir stellen unsere vortrainierten Modelle LinkBERT und BioLinkBERT sowie Code und Daten unter https://github.com/michiyasunaga/LinkBERT zur Verfügung.