KaggleDBQA: تقييم واقعي لمحولات النص إلى SQL

يهدف الاستجابة لأسئلة قواعد البيانات إلى تمكين استعلامات اللغة الطبيعية لقواعد البيانات العلاقية الواقعية في مجالات تطبيقية متنوعة. في الآونة الأخيرة، ساهمت مجموعات البيانات الكبيرة مثل Spider وWikiSQL في تطوير تقنيات نمذجة جديدة لتحليل النص إلى SQL، مما أدى إلى تحسين التعميم الصفرية على قواعد بيانات غير مرئية. في هذه الدراسة، نستعرض التحديات التي ما زالت تمنع هذه التقنيات من التطبيق العملي. أولاً، نقدم KaggleDBQA، وهي مجموعة بيانات جديدة لتقييم عبر المجالات لقواعد بيانات ويب حقيقية، تتميز بأنواع بيانات محددة لكل مجال، وتنسيق أصلي، وأسئلة غير محدودة. ثانيًا، نعيد تقييم اختيار مهام التقييم لمحولات النص إلى SQL عند تطبيقها في البيئات الواقعية. وأخيرًا، نُضَفُ إلى مهمة التقييم داخل المجال وثائق قواعد البيانات، وهي مصدر طبيعي للمعرفة الدلالية الضمنية. ونُظهر أن KaggleDBQA تمثل تحديًا لمحولات النص إلى SQL من الطراز الرائد في التعميم الصفرية، لكن بيئة تقييم أكثر واقعية واستخدامًا إبداعيًا لوثائق قواعد البيانات المرتبطة بها يُحسِّن دقتها بأكثر من 13.2٪، ما يضاعف أداؤها.