شهدت موجة التدريب المسبق تطورًا سريعًا في فهم المستندات مؤخرًا. تم استخدام إطار العمل الذي يجمع بين التدريب المسبق والضبط الدقيق بشكل فعال لمعالجة النصوص بأشكال مختلفة، بما في ذلك النصوص البسيطة ونصوص المستندات والنصوص الويب. على الرغم من تحقيق أداء مبشر، فإن نماذج التدريب المسبقة الحالية تستهدف عادةً تنسيق مستند معين واحدًا في كل مرة، مما يجعل من الصعب دمج المعرفة من تنسيقات المستندات المتعددة. لحل هذه المشكلة، نقترح XDoc (XDoc)، وهو نموذج تدريب مسبق موحد يتعامل مع تنسيقات المستندات المختلفة في نموذج واحد. لتحقيق كفاءة المعلمات، نشارك معلمات العمود الفقري لأنواع مختلفة مثل طبقة غرس الكلمات وطبقات الـ Transformer. وفي الوقت نفسه، نقدم طبقات تكيفية ذات معلمات خفيفة لتعزيز الاختلاف بين الأشكال المختلفة. أظهرت النتائج التجريبية أن XDoc يحقق أداءً مشابهًا أو حتى أفضل في مجموعة متنوعة من المهام اللاحقة باستخدام 36.7٪ فقط من المعلمات، مما يجعله فعالًا من حيث التكلفة للنشر في العالم الحقيقي. سيتم توفير الكود والنماذج المدربة مسبقًا بشكل عام على الرابط \url{https://aka.ms/xdoc}.