RAG متعدد المستندات: مجلد ملفات غير المرتبطة كوثيقة واحدة
تطرح منهجية حديثة لتحسين أنظمة البحث والمولد (RAG) في التعامل مع المجلدات التي تحتوي على مستندات غير مترابطة، حيث يُعامل المجلد كوثيقة موحدة ذات هيكلية فهرسة متداخلة. وتأتي هذه المقاربة استجابة للتحدي الهندسي المتمثل في استحالة بناء فهارس علائقية أو قواعد بيانات مشتركة عندما تفتقر المستندات المتباينة، مثل كتالوجات الضوابط الأمنية والأبحاث الأكاديمية وتقارير الأسواق، إلى حقول بيانات موحدة أو معجم مهني مشترك. تعتمد الآلية على بناء فهرسين متدرجين دون الحاجة إلى استخلاص كائنات معقدة أو بناء كائنات لغوية. في مرحلة الاستيعاب، يُنتج النظام سطرًا ملخصًا واحدًا لكل ملف على مستوى المستوى الأول، يعمل كحاجز تصفية أولي، بينما يعتمد المستوى الثاني على جدول المحتويات الأصلي الذي توفره أدوات التحليل النصي، مع إمكانية إعادة بنائه تقنيًا للملفات غير المهيكلة. يحد هذا التصنيف من التعقيد الحسابي ويجنب النظام تحميل نصوص غير ذات صلة خلال مرحلة الاسترجاع. أثناء معالجة الاستعلام، يبدأ المسار بتمرير الجملة البحثية عبر أسطر الملخص على المستوى الأول، حيث تختار النماذج اللغوية عادةً ملفًا أو ثلاثة ملفات واعدة، مرفقة ببيان السبب لضمان القابلية للتدقيق. بعد ذلك، ينزل النظام تلقائيًا إلى داخل الملفات المختارة، متبعًا فروع جدول المحتويات خطوة بخطوة حتى الوصول إلى القسم المستهدف، دون الحاجة لقراءة المجلد الكامل أو استدعاء استعلامات قواعد بيانات علائقية. تبرز هذه البنية في قدرتها على الحفاظ على الدقة وتجنب استهلاك الذاكرة السياقية، إذ يبقى حجم المدخلات ثابتًا ومستقرًا بغض النظر عن حجم المجلد التخزيني. وتشير التقييمات إلى أن النطاق الأمثل يتراوح بين بضع مئات إلى آلاف الملفات، مع إمكانية التوسع عبر إضافة طبقة تنظيمية فرعية عند تجاوز الحد الأفقي للفهرس، دون تغيير الهندسة الأساسية. كما تُعالج حالة الملفات الخالية من الهيكل عبر قراءتها كاملة كعناصر نهائية، أو عبر استعادة عناوينها تقنيًا عند تجاوز حجمها حدًا معينًا. يأتي هذا النموذج كجزء من التطويرات الحديثة في هندسة أنظمة الذكاء المؤسسي، ويؤكد أن التعامل مع مجموعات البيانات غير المتجانسة يتطلب هندسة استدلال متسلسلة بدلاً من الفهرسة التقليدية المكلفة. وتؤكد المصادر التقنية المقترحة على تقارب الفكرة مع مكونات الاسترجاع السياقي الحديثة، في حين تُبرز الدراسات أن الاعتماد على الهيكل الطبيعي للمستندات يتفوق على طرق التجميع الخوارزمي عند توفر مسارات واضحة، مما يترجم إلى مسارات استرجاع أسرع، وتكلفة تشغيلية أقل، ودقة استدلال أعلى في البيئات المؤسسية المتنوعة.
