Tiefe bidirektionale Sprach-Wissensgraph-Vor训练 请注意，"Vor训练" 应该是 "Vortraining"。正确的翻译如下： Tiefe bidirektionale Sprach-Wissensgraph-Vortraining

Das Vor-Training eines Sprachmodells (LM) anhand von Textdaten wurde bereits als hilfreich für verschiedene nachgelagerte NLP-Aufgaben nachgewiesen. Kürzliche Arbeiten zeigen, dass ein Wissensgraph (KG) die Textdaten ergänzen kann und strukturiertes Hintergrundwissen bereitstellt, das eine nützliche Grundlage für Schlussfolgerungen bildet. Allerdings werden diese Arbeiten nicht vorab trainiert, um eine tiefgreifende Fusion der beiden Modalitäten in großem Umfang zu erlernen, was das Potenzial zur Erstellung vollständig gemeinsamer Repräsentationen von Text und KG einschränkt. Hier stellen wir DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining) vor, einen selbstüberwachten Ansatz zum Vor-Training eines tiefgreifend gemeinsamen Sprach-Wissensgraphen-Grundmodells aus Text und KG in großem Umfang. Insbesondere nimmt unser Modell Paare von Textsegmenten und relevanten Untergraphen des Wissensgraphen als Eingabe auf und fusioniert Informationen aus beiden Modalitäten bidirektional. Wir führen das Vor-Training dieses Modells durch die Vereinigung zweier selbstüberwachter Schlussfolgerungsaufgaben durch: Maskierte Sprachmodellierung und KG-Link-Vorhersage. DRAGON übertrifft bestehende LM- und LM+KG-Modelle bei diversen nachgelagerten Aufgaben, einschließlich der Fragebeantwortung in allgemeinen und biomedizinischen Domänen, mit einem durchschnittlichen absoluten Gewinn von +5 %. Insbesondere erreicht DRAGON bemerkenswerte Leistungen bei komplexer Schlussfolgerung über Sprache und Wissen (+10 % bei Fragen mit langem Kontext oder mehrstufiger Schlussfolgerung) sowie bei ressourcenarmen QA-Aufgaben (+8 % bei OBQA und RiddleSense) und neue Stand-of-the-Art-Ergebnisse bei verschiedenen BioNLP-Aufgaben. Unser Code und die trainierten Modelle sind unter https://github.com/michiyasunaga/dragon verfügbar.