CoIR: معيار شامل لنموذج استرجاع المعلومات من الكود

رغم النجاح الكبير الذي حققته أنظمة استرجاع المعلومات (IR) في مهام معالجة اللغة الطبيعية المتنوعة، فإن معظم هذه الأنظمة تتعامل بشكل أساسي مع الاستفسارات والمكتبات في اللغة الطبيعية، مما يجعلها تغفل عن مجال استرجاع الكود. يعتبر استرجاع الكود مهمًا للغاية ومع ذلك يظل مجالًا قليل الدراسة، حيث لا تمثل الأساليب والمقاييس الحالية التنوع الكبير للكود في المجالات والمهام المختلفة بشكل كافٍ. للتعامل مع هذا الفجوة، نقدم COIR (مقاييس استرجاع المعلومات للكود)، وهو مقاييس قوي وشامل مصمم خصيصًا لتقييم قدرات استرجاع الكود. يتكون COIR من عشرة مجموعات بيانات للكود تم اختيارها بعناية، تغطي ثماني مهام استرجاع متميزة عبر سبعة مجالات متنوعة. سنناقش أولاً بناء COIR وتكوين مجموعة البيانات المتنوعة الخاصة به. بعد ذلك، نقيم تسعة نماذج استرجاع شائعة باستخدام COIR، وكشفنا عن صعوبات كبيرة في أداء مهام استرجاع الكود حتى باستخدام أنظمة الحالة الحرجة (state-of-the-art). لتسهيل التبني السهل والدمج ضمن سير العمل البحثي الحالي، تم تطوير COIR كإطار عمل بلغة البرمجة بايثون سهل الاستخدام ويمكن تركيبه بسهولة عبر pip. يشارك نفس هيكل البيانات مع مقاييس شهيرة أخرى مثل MTEB و BEIR، مما يتيح التقييم السلس بين المقاييس المختلفة. من خلال COIR، نهدف إلى تحفيز البحث في مجال استرجاع الكود، بتوفير أداة مقاييس متعددة الأوجه تشجع على التطوير والاستكشاف المزيد لأنظمة استرجاع الكود.https://github.com/CoIR-team/coir.