تم إثبات أن تدريب نموذج اللغة (LM) على النصوص يساعد في مهام المعالجة اللغوية الطبيعية (NLP) المختلفة في المراحل اللاحقة. تظهر الأبحاث الحديثة أن الرسم البياني للمعرفة (KG) يمكن أن يكمل بيانات النص، مما يقدم معرفة خلفية منظمة توفر هيكلًا مفيدًا للاستدلال. ومع ذلك، فإن هذه الأبحاث لم تتدرب بشكل مسبق لتعلم دمج عميق بين الوسيلتين بمقياس كبير، مما يحد من القدرة على الحصول على تمثيلات مشتركة كاملة للنص والرسم البياني للمعرفة. هنا نقترح DRAGON (تدريب عمقي ثنائي الاتجاه لنماذج اللغة والرسم البياني للمعرفة)، وهو نهج ذاتي الإشراف لتدريب نموذج أساس عمقي مشترك من النصوص والرسم البياني للمعرفة بمقياس كبير. بصفة خاصة، يستخدم نموذجنا أزواجًا من مقاطع النصوص وجزء من الرسم البياني للمعرفة ذات صلة كمدخلات ويقوم بدمج المعلومات من الوسيلتين بشكل ثنائي الاتجاه. نقوم بتدريب هذا النموذج عن طريق توحيد مهمتين ذاتيتي الإشراف للاستدلال، وهما التنبؤ بالروابط في الرسم البياني للمعرفة ونمذجة اللغة المقنعة. DRAGON يتفوق على النماذج الحالية لنماذج اللغة (LM) ونماذج اللغة + الرسم البياني للمعرفة (LM+KG) في مجموعة متنوعة من المهام اللاحقة مثل الإجابة على الأسئلة في المجالات العامة والطبية، مع زيادة بنسبة +5% في المتوسط. بشكل خاص، حقق DRAGON أداءً ملحوظًا في الاستدلال المعقد حول اللغة والمعرفة (+10% في الأسئلة التي تتضمن سياقات طويلة أو استدلال متعدد الخطوات) وفي الإجابة على الأسئلة قليلة الموارد (+8% في OBQA و RiddleSense)، وأحدث النتائج الرائدة في مجموعة متنوعة من مهام BioNLP. رمز البرمجة والنماذج المدربة متاحة على الرابط: https://github.com/michiyasunaga/dragon.