مقدمة إلى RAG: من الأساسيات إلى الإتقان الجزء 5: التوصيل السريع (ANN) وإعادة الترتيب في هذا الجزء الأخير من السلسلة، نستعرض المكونين المهمين جدًا لتحسين أداء أنظمة RAG القائمة على التخزين والبحث في البيانات: البحث التقريبي القريب (ANN) وإعادة الترتيب (Reranking). هذه التقنيات تُعد حجر الزاوية في بناء أنظمة RAG قابلة للتوسع، وسريعة، ودقيقة. البحث التقريبي القريب (ANN) عند بناء نظام RAG، يُعدّ التوسع في سرعة الاسترجاع أحد أكبر التحديات. عندما يكون حجم المعرفة صغيرًا (بضع آلاف من الوثائق)، يمكن استخدام البحث الدقيق (exact search) حيث تُقارن متجهات الاستعلام بكل متجهات الوثائق، وهو أمر ممكن من حيث الأداء. لكن مع نمو البيانات إلى ملايين أو حتى مليارات المدخلات — مثل مخازن المنتجات الإلكترونية، أو مكتبات الأبحاث، أو مصادر المعرفة المؤسسية — يصبح هذا النهج غير عملي من حيث السرعة واستهلاك الذاكرة. هنا يأتي دور خوارزميات البحث التقريبي القريب (Approximate Nearest Neighbors أو ANN). مثل FAISS وHNSW، تقوم هذه الخوارزميات ببناء هيكل فهرسة ذكية (كأشجار أو رسوم بيانية) للمتجهات، بحيث لا يُطلب من النظام مسح كل المتجهات. بدلًا من ذلك، يُستخدم الهيكل لاستكشاف المسارات السريعة للعثور على المرشحين الأقرب "بدرجة كافية". النتيجة: خسارة في الدقة تقل عن 1% في كثير من الحالات، مقابل مكاسب هائلة في السرعة — من 100 إلى 1000 مرة أسرع. هذا يجعل ANN ضروريًا لتطبيقات RAG التي تتطلب استجابات فورية، مثل المساعدات الذكية، أو أنظمة الدعم الفني، أو محركات البحث في الشركات. إعادة الترتيب (Reranking) رغم فعالية ANN، إلا أنه لا يضمن أن النتائج المُسترجعة تكون مرتبة بأفضل طريقة من حيث الأهمية السياقية. قد تكون النتائج "مقبولة" من حيث التشابه، لكن المُستند الأكثر صلة بالسؤال قد يكون مصنفًا في الموضع 15، بينما نتائج أقل صلة تظهر في الموضع 3. هنا يأتي دور إعادة الترتيب. بعد أن تُسترجع مجموعة من المرشحين عبر ANN، تُستخدم نموذج أقوى — غالبًا نموذج تقاطع (cross-encoder) أو نموذج لغة كبير (LLM) — لتقييم كل مستند مُسترجع من حيث صلته بالسؤال. يُعاد ترتيب النتائج بناءً على هذه التقييمات الدقيقة، مما يضمن وصول المُستندات الأكثر ملاءمة إلى الأعلى. مثلاً: إذا سألت "أحذية ركض خفيفة"، قد يُرجع ANN 50 منتجًا يحتوي على كلمات مثل "ركض" أو "خفيفة"، لكن إعادة الترتيب تُميز بين الأحذية المصممة لسباقات الماراثون والأحذية الرياضية العادية، وترفع المُستندات الأكثر دقة إلى المقدمة. الخلاصة النظرية - البحث الدقيق مقابل التقريبي: الدقيق مناسب للبيانات الصغيرة، بينما التقريبي ضروري للبيانات الكبيرة. - الاستعاضة عن الدقة بسرعة: خسارة دقة بسيطة مقابل تحسين كبير في الأداء. - إعادة الترتيب: خطوة حاسمة لتحسين الجودة النهائية، خاصة في السياقات التي تتطلب دقة عالية. التدفق العملي خطوة بخطوة 1. إنشاء المتجهات (Embeddings) (نفس الخطوة كما في الأجزاء السابقة، لكن نخزن المتجهات في FAISS بدلًا من Chroma) ```python from sentence_transformers import SentenceTransformer import numpy as np # نموذج التضمين embedder = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2") # كتالوج المنتجات (النصوص المُقسّمة) all_products = [ "Red running shoes with breathable mesh", "Wireless noise-cancelling headphones", # ... (الباقي من القائمة) ] # توليد المتجهات embeddings = embedder.encode(all_products, convert_to_numpy=True, show_progress_bar=True) embeddings = np.array(embeddings).astype("float32") ``` بناء فهرس ANN باستخدام FAISS ```python import faiss # إنشاء فهرس بـ 128 بعدًا (مطابق لحجم المتجهات) dimension = embeddings.shape[1] index = faiss.IndexFlatIP(dimension) # استخدام الضرب الداخلي (Inner Product) # إضافة المتجهات إلى الفهرس index.add(embeddings) ``` استعلام وبحث تقريبي ```python query = "lightweight running shoes" query_embedding = embedder.encode(query).astype("float32").reshape(1, -1) # البحث عن 5 نتائج أقرب k = 5 distances, indices = index.search(query_embedding, k) # استرجاع النصوص المقابلة retrieved_texts = [all_products[i] for i in indices[0]] ``` إعادة الترتيب باستخدام نموذج تقاطع (Cross-Encoder) ```python from sentence_transformers import CrossEncoder # تحميل نموذج إعادة الترتيب reranker = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2") # إنشاء أزواج (سؤال، مستند) pairs = [(query, text) for text in retrieved_texts] # تقييم الصلاحيات scores = reranker.predict(pairs) # إعادة الترتيب حسب التصنيف ranked_results = sorted(zip(retrieved_texts, scores), key=lambda x: x[1], reverse=True) ``` النتائج النهائية الآن، تكون النتائج مرتبة بدقة عالية، حيث تظهر أكثر المستندات صلة في المقدمة. مخطط تدفق الخطوات المتقدمة في RAG 1. تضمين النصوص → 2. تخزين المتجهات في فهرس ANN (مثل FAISS) → 3. استعلام وبحث تقريبي → 4. استرجاع أول 10–50 نتيجة → 5. تمرير النتائج إلى نموذج إعادة الترتيب → 6. إعادة ترتيب النتائج حسب الدقة السياقية → 7. إرسال النتائج النهائية إلى نموذج LLM للإجابة. هذا التدفق يُعد النموذج الذهبي لتطبيقات RAG الحديثة، حيث يوازن بين السرعة والدقة، ويُمكنه التعامل مع مجموعات بيانات ضخمة بسلاسة.