هل يمكن لـ LLM أن تُستخدم بالفعل كواجهة قاعدة بيانات؟ معيار كبير لقواعد بيانات كبيرة مبنية على التحويل النصي إلى SQL

تمثيل النص إلى SQL، والذي يهدف إلى تحويل التعليمات باللغة الطبيعية إلى أوامر SQL قابلة للتنفيذ، اكتسب اهتمامًا متزايدًا في السنوات الأخيرة. وبشكل خاص، أظهرت نماذج Codex وChatGPT نتائج مبهرة في هذا المهمة. ومع ذلك، تركز معظم المعايير الشائعة، مثل Spider وWikiSQL، على هياكل قواعد بيانات تحتوي على عدد قليل من السطور من البيانات، مما يترك فجوة بين الدراسات الأكاديمية والتطبيقات الواقعية. وللتقليل من هذه الفجوة، نقدم BIRD، وهو معيار كبير مبني على قواعد بيانات كبيرة في مهام تمثيل النص إلى SQL، يحتوي على 12,751 زوجًا من البيانات النصية إلى SQL، ويشمل 95 قاعدة بيانات بحجم إجمالي قدره 33.4 جيجابايت، وتمتد عبر 37 مجالًا احترافيًا. وتركز بذلنا على قيم قواعد البيانات على التحديات الجديدة الناتجة عن محتوى قواعد بيانات غير نظيف، والمعرفة الخارجية بين الأسئلة باللغة الطبيعية ومحتوى قواعد البيانات، وفعالية أوامر SQL، خاصة في سياق قواعد بيانات ضخمة. ولحل هذه المشكلات، يجب أن تتميز نماذج تمثيل النص إلى SQL بفهم قيم قواعد البيانات إلى جانب التحليل الدلالي. وتُظهر النتائج التجريبية الأهمية البالغة لقيم قواعد البيانات في إنتاج أوامر SQL دقيقة لقواعد بيانات كبيرة. علاوة على ذلك، حتى أقوى النماذج في تمثيل النص إلى SQL، مثل ChatGPT، تحقق فقط دقة تنفيذية بنسبة 40.08٪، وهي ما زالت بعيدة عن النتيجة البشرية البالغة 92.96٪، ما يثبت استمرار التحديات. بالإضافة إلى ذلك، نقدم تحليلًا للكفاءة لتوفير رؤى حول إنشاء أوامر SQL فعالة، مما يعود بالفائدة على القطاعات الصناعية. ونعتقد أن BIRD سيساهم في دفع تقدم التطبيقات الواقعية لأبحاث تمثيل النص إلى SQL. يمكن الوصول إلى لوحة التصنيف والكود المصدري من خلال: https://bird-bench.github.io/.