تحسين استخراج المعلومات المفتوحة باستخدام النماذج اللغوية الكبيرة: دراسة حول عدم اليقين في الأمثلة

تهدف مهمة استخراج المعلومات المفتوحة (OIE) إلى استخراج الحقائق الهيكلية من النصوص غير المهيكلة، وعادةً ما تُقدَّم على شكل ثلاثيات (الفاعل، العلاقة، المفعول). وعلى الرغم من الإمكانات الكبيرة للنماذج اللغوية الكبيرة (LLMs) مثل ChatGPT كحلول عامة للمهام، إلا أنها تُظهر تأخرًا مقارنةً بالطرق المتطورة المدربة بوضوح (supervised) في مهام OIE، وذلك بسبب مشكلتين رئيسيتين. أولاً، تواجه نماذج LLM صعوبة في التمييز بين السياق غير الضروري والعلاقات ذات الصلة، بالإضافة إلى إنتاج مخرجات هيكلية، نظرًا لقيود التدريب الدقيق (fine-tuning) للنموذج. ثانيًا، تقوم نماذج LLM بإنتاج الاستجابات بشكل تسلسلي (autoregressively) بناءً على الاحتمالات، مما يؤدي إلى نقص في الثقة في العلاقات المُتنبأ بها. في هذه الورقة، نقوم بتقييم القدرات التي تمتلكها نماذج LLM في تحسين مهمة OIE. وتحديدًا، نقترح استراتيجيات متعددة للتعلم داخل السياق (in-context learning) لتعزيز قدرة نموذج LLM على اتباع التعليمات، بالإضافة إلى وحدة لتقدير عدم اليقين في الأمثلة (demonstration uncertainty quantification) لتعزيز الثقة في العلاقات المُنتجة. تُظهر التجارب التي أجريناها على ثلاث مجموعات معيارية (benchmark) لمهام OIE أن نهجنا يُحقق أداءً تنافسيًا مع الطرق المدربة بوضوح المعتمدة، من حيث الجوانب الكمية والكيفية.