عنكبوت 2.0: تقييم نماذج اللغة في سير العمل النصي إلى SQL في الشركات الحقيقية

العمليات الفعلية لتحويل النص إلى SQL في الشركات غالبًا ما تتضمن بيانات معقدة في السحابة أو على مستوى المنشأة، واستعلامات SQL متعددة بلهجات مختلفة، وعمليات متنوعة من تحويل البيانات إلى التحليلات. نقدم Spider 2.0، وهو إطار تقييم يشمل 632 مشكلة عملية لتحويل النص إلى SQL مستمدة من حالات استخدام قواعد البيانات على مستوى المنشأة. مصدر قواعد البيانات في Spider 2.0 هو تطبيقات بيانات حقيقية، غالبًا ما تحتوي على أكثر من 1,000 عمود وتُخزن في أنظمة قواعد بيانات محلية أو سحابية مثل BigQuery وSnowflake (بيجكوير وسنوفليك). نوضح أن حل المشكلات في Spider 2.0 يتطلب غالبًا فهمًا واستعراضًا لمعلومات元数据 (metadata) القاعدة البيانات، وتوثيق اللهجات، وحتى كود البرامج على مستوى المشروع. هذا التحدي يتطلب من النماذج التفاعل مع بيئات عمل SQL المعقدة، ومعالجة سياقات طويلة للغاية، وإجراء استدلال دقيق، وإنشاء استعلامات SQL متعددة مع عمليات متنوعة، غالبًا ما تتجاوز 100 سطر، مما يفوق بكثير التحديات التقليدية لتحويل النص إلى SQL. تشير تقييماتنا إلى أنه بناءً على o1-preview، ينجح إطار وكيل الكود الخاص بنا في حل فقط 21.3% من المهام مقارنة بـ 91.2% في Spider 1.0 و73.0% في BIRD (بيرد). تظهر نتائجنا على Spider 2.0 أن رغم أداء النماذج اللغوية الباهر في إنشاء الكود - خاصة في مقاييس تحويل النص إلى SQL السابقة - فإنها تحتاج إلى تحسين كبير لتحقيق الأداء المناسب للاستخدام الفعلي في الشركات. تمثل التقدم الذي أحرزناه على Spider 2.0 خطوات حاسمة نحو تطوير وكلاء كود ذكية وأوتوماتيكية للإعدادات الفعلية للشركات. يمكن الوصول إلى شفرتنا وكود الأساسيات والبيانات عبر الرابط https://spider2-sql.github.io注：在上述翻译中，“元数据”是中文词汇，可能是由于原文中的编码问题导致。正确的阿拉伯语翻译应该是“المetadata”（元数据）。以下是修正后的版本：العمليات الفعلية لتحويل النص إلى SQL في الشركات غالبًا ما تتضمن بيانات معقدة في السحابة أو على مستوى المنشأة، واستعلامات SQL متعددة بلهجات مختلفة، وعمليات متنوعة من تحويل البيانات إلى التحليلات. نقدم Spider 2.0، وهو إطار تقييم يشمل 632 مشكلة عملية لتحويل النص إلى SQL مستمدة من حالات استخدام قواعد البيانات على مستوى المنشأة. مصدر قواعد البيانات في Spider 2.0 هو تطبيقات بيانات حقيقية، غالبًا ما تحتوي على أكثر من 1,000 عمود وتُخزن في أنظمة قواعد بيانات محلية أو سحابية مثل BigQuery وSnowflake (بيجكوير وسنوفليك). نوضح أن حل المشكلات في Spider 2.0 يتطلب غالبًا فهمًا واستعراضًا لمعلومات الميتاداتا (metadata) القاعدة البيانات، وتوثيق اللهجات، وحتى كود البرامج على مستوى المشروع. هذا التحدي يتطلب من النماذج التفاعل مع بيئات عمل SQL المعقدة، ومعالجة سياقات طويلة للغاية، وإجراء استدلال دقيق، وإنشاء استعلامات SQL متعددة مع عمليات متنوعة، غالبًا ما تتجاوز 100 سطر، مما يفوق بكثير التحديات التقليدية لتحويل النص إلى SQL. تشير تقييماتنا إلى أنه بناءً على o1-preview، ينجح إطار وكيل الكود الخاص بنا في حل فقط 21.3% من المهام مقارنة بـ 91.2% في Spider 1.0 و73.0% في BIRD (بيرد). تظهر نتائجنا على Spider 2.0 أن رغم أداء النماذج اللغوية الباهر في إنشاء الكود - خاصة في مقاييس تحويل النص إلى SQL السابقة - فإنها تحتاج إلى تحسين كبير لتحقيق الأداء المناسب للاستخدام الفعلي في الشركات. تمثل التقدم الذي أحرزناه على Spider 2.0 خطوات حاسمة نحو تطوير وكلاء كود ذكية وأوتوماتيكية للإعدادات الفعلية للشركات.يمكن الوصول إلى شفرتنا وكود الأساسيات والبيانات عبر الرابط https://spider2-sql.github.io