HyperAIHyperAI

Command Palette

Search for a command to run...

CoIR: معيار شامل لنموذج استرجاع المعلومات من الكود

Xiangyang Li* Kucai Dong* Yi Quan Lee* Wei Xia Hao Zhang† Xinyi Dai Yasheng Wang Ruiming Tang†

الملخص

رغم النجاح الكبير الذي حققته أنظمة استرجاع المعلومات (IR) في مهام معالجة اللغة الطبيعية المتنوعة، فإن معظم هذه الأنظمة تتعامل بشكل أساسي مع الاستفسارات والمكتبات في اللغة الطبيعية، مما يجعلها تغفل عن مجال استرجاع الكود. يعتبر استرجاع الكود مهمًا للغاية ومع ذلك يظل مجالًا قليل الدراسة، حيث لا تمثل الأساليب والمقاييس الحالية التنوع الكبير للكود في المجالات والمهام المختلفة بشكل كافٍ. للتعامل مع هذا الفجوة، نقدم COIR (مقاييس استرجاع المعلومات للكود)، وهو مقاييس قوي وشامل مصمم خصيصًا لتقييم قدرات استرجاع الكود. يتكون COIR من عشرة مجموعات بيانات للكود تم اختيارها بعناية، تغطي ثماني مهام استرجاع متميزة عبر سبعة مجالات متنوعة. سنناقش أولاً بناء COIR وتكوين مجموعة البيانات المتنوعة الخاصة به. بعد ذلك، نقيم تسعة نماذج استرجاع شائعة باستخدام COIR، وكشفنا عن صعوبات كبيرة في أداء مهام استرجاع الكود حتى باستخدام أنظمة الحالة الحرجة (state-of-the-art). لتسهيل التبني السهل والدمج ضمن سير العمل البحثي الحالي، تم تطوير COIR كإطار عمل بلغة البرمجة بايثون سهل الاستخدام ويمكن تركيبه بسهولة عبر pip. يشارك نفس هيكل البيانات مع مقاييس شهيرة أخرى مثل MTEB و BEIR، مما يتيح التقييم السلس بين المقاييس المختلفة. من خلال COIR، نهدف إلى تحفيز البحث في مجال استرجاع الكود، بتوفير أداة مقاييس متعددة الأوجه تشجع على التطوير والاستكشاف المزيد لأنظمة استرجاع الكود.https://github.com/CoIR-team/coir.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp