التوليد المعزز بالاسترجاع (RAG)

يُعد توليد الاسترجاع المعزز (RAG) إطار عمل للذكاء الاصطناعي يُستخدم لتحسين جودة الاستجابات التي تولدها LLMs من خلال استكمال تمثيلات المعلومات الداخلية الخاصة بها من خلال بناء النماذج على مصادر المعرفة الخارجية. RAG هي تقنية تستخدم الحقائق التي تم الحصول عليها من مصادر خارجية لتحسين دقة وموثوقية نماذج الذكاء الاصطناعي التوليدية. يقوم بتحسين مخرجات نماذج اللغة الكبيرة للإشارة إلى قواعد المعرفة المعتمدة خارج مصدر بيانات التدريب قبل إنشاء استجابة.إن تنفيذ RAG في نظام الإجابة على الأسئلة القائم على LLM له فائدتان رئيسيتان: 1. فهو يضمن أن النموذج لديه إمكانية الوصول إلى أحدث الحقائق الموثوقة؛ 2. يتمكن المستخدمون من الوصول إلى مصدر النموذج، مما يضمن إمكانية التحقق من دقة وصدق ادعاءاته، وفي النهاية الوثوق بها.

يجمع RAG بين مكون استرجاع المعلومات ونموذج مولد النص. يمكن ضبط RAG وتعديل معرفتها الداخلية بكفاءة دون الحاجة إلى إعادة تدريب النموذج بأكمله.

فوائد توليد تحسين الاسترجاع

توفر تقنية RAG العديد من الفوائد لجهود الذكاء الاصطناعي التوليدية للمنظمة.

• التنفيذ الفعال من حيث التكلفة:يبدأ تطوير Chatbot عادةً بنموذج أساسي. النموذج الأساسي (FM) هو نموذج LLM يمكن الوصول إليه من خلال واجهة برمجة التطبيقات (API) ويتم تدريبه على مجموعة واسعة من البيانات المعممة وغير المصنفة. إن إعادة تدريب إدارة المرافق للحصول على معلومات تنظيمية أو خاصة بالمجال أمر مكلف من الناحيتين الحسابية والمالية. تُعد RAG طريقة أكثر فعالية من حيث التكلفة لإدخال بيانات جديدة إلى LLM، مما يجعل تقنيات الذكاء الاصطناعي التوليدية متاحة على نطاق أوسع وقابلة للاستخدام.
• توفير أحدث المعلومات:حتى لو كان مصدر بيانات التدريب الأصلي لـ LLM مناسبًا لاحتياجات المستخدم، فإن الحفاظ على البيانات ذات الصلة يمثل تحديًا. يتيح RAG للمطورين تغذية النماذج التوليدية بأحدث الأبحاث أو الإحصائيات أو الأخبار. يمكنهم استخدام RAG لربط LLM مباشرة بمواقع التواصل الاجتماعي في الوقت الفعلي، أو مواقع الأخبار، أو غيرها من مصادر المعلومات التي يتم تحديثها بشكل متكرر. ومن ثم يمكن لـ LLM أن يزود المستخدمين بأحدث المعلومات.
• تعزيز ثقة المستخدم:يسمح RAG لـ LLM بتقديم معلومات دقيقة من خلال إسناد المصدر. قد يتضمن الإخراج الاستشهادات أو الإشارات إلى المصادر. إذا كان هناك حاجة إلى مزيد من التوضيح أو معلومات أكثر تفصيلاً، فيمكن للمستخدمين أيضًا العثور على المستند المصدر بأنفسهم. ويمكن أن يؤدي هذا إلى زيادة الثقة في حلول الذكاء الاصطناعي التوليدية.
• مزيد من التحكم للمطورين:باستخدام RAG، يمكن للمطورين اختبار تطبيقات الدردشة الخاصة بهم وتحسينها بكفاءة أكبر. يمكنهم التحكم في مصادر معلومات LLM وتغييرها للتكيف مع الاحتياجات المتغيرة أو للاستخدام المتعدد الوظائف. يمكن للمطورين أيضًا تقييد استرجاع المعلومات الحساسة لمستويات تفويض مختلفة والتأكد من أن LLM يولد الاستجابات المناسبة. بالإضافة إلى ذلك، إذا استشهد LLM بمصدر خاطئ للمعلومات لمشكلة معينة، فيمكنه استكشاف المشكلة وإصلاحها. يمكن للمؤسسات تنفيذ تقنيات الذكاء الاصطناعي التوليدي بثقة أكبر لمجموعة أوسع من التطبيقات.

سير عمل إنشاء تحسين الاسترجاع

بدون RAG، يأخذ LLM مدخلات المستخدم وينشئ استجابة بناءً على المعلومات التي تم تدريبه عليها أو التي يعرفها بالفعل. يقدم RAG مكون استرجاع المعلومات الذي يستفيد من إدخال المستخدم لاستخراج المعلومات أولاً من مصادر البيانات الجديدة. يتم توفير استفسارات المستخدمين والمعلومات ذات الصلة إلى LLM. يستخدم برنامج LLM المعرفة الجديدة وبيانات التدريب الخاصة به لإنشاء استجابات أفضل. وتوضح الأقسام التالية هذه العملية.

• إنشاء بيانات خارجية:البيانات الجديدة خارج مجموعة بيانات التدريب الأصلية تسمى LLMالبيانات الخارجية. يمكن أن يأتي ذلك من مصادر بيانات متعددة، مثل واجهة برمجة التطبيقات، أو قاعدة بيانات، أو مستودع مستندات. قد توجد البيانات في تنسيقات مختلفة، مثل الملفات، أو سجلات قواعد البيانات، أو النصوص الطويلة. هناك تقنية ذكاء اصطناعي أخرى تسمى نموذج اللغة المضمنة تقوم بتحويل البيانات إلى تمثيل رقمي وتخزينها في قاعدة بيانات متجهة. تخلق هذه العملية قاعدة معرفية يمكن لنموذج الذكاء الاصطناعي التوليدي فهمها.
• استرجاع المعلومات ذات الصلة:الخطوة التالية هي إجراء بحث ذي صلة. يتم تحويل استعلامات المستخدم إلى تمثيلات متجهية ومطابقتها مع قاعدة بيانات المتجهات. على سبيل المثال، فكر في روبوت محادثة ذكي يمكنه الإجابة على أسئلة الموارد البشرية في المؤسسة. إذا قام الموظف بالبحث عن "ما هو مقدار الإجازة السنوية التي أملكها؟"، فسيقوم النظام باسترجاع وثيقة سياسة الإجازة السنوية بالإضافة إلى سجلات الإجازات الشخصية السابقة للموظف. سيتم إرجاع هذه المستندات المحددة لأنها ذات صلة وثيقة بما أدخله الموظف. يتم حساب الارتباطات وتأسيسها باستخدام حسابات المتجهات الرياضية والتمثيلات.
• نصائح مُحسّنة حول ماجستير القانون:بعد ذلك، يعمل نموذج RAG على تعزيز إدخال المستخدم (أو المطالبة) عن طريق إضافة البيانات ذات الصلة المستردة في السياق. تستخدم هذه الخطوة تقنيات هندسية سريعة للتواصل بشكل فعال مع طلاب الماجستير في القانون. تتيح التلميحات المحسنة لنماذج اللغة الكبيرة إنشاء إجابات دقيقة لاستفسارات المستخدم.
• تحديث البيانات الخارجية:السؤال التالي قد يكون - ماذا لو كانت البيانات الخارجية قديمة؟ للحفاظ على المعلومات الحالية لاسترجاعها، قم بتحديث المستند بشكل غير متزامن وتحديث التمثيل المضمن للمستند. يمكنك القيام بذلك عن طريق أتمتة عملية في الوقت الفعلي أو كعملية دفعية دورية. يعد هذا تحديًا شائعًا في تحليل البيانات - يمكن التعامل مع إدارة التغيير باستخدام أساليب علم البيانات المختلفة.

يوضح الرسم التخطيطي التالي التدفق المفاهيمي لاستخدام RAG مع LLM:

مصدر الصورة: aws.amazon

مراجع

【1】https://aws.amazon.com/cn/what-is/retrieval-augmented-generation/?nc1=h_ls