HyperAIHyperAI

Command Palette

Search for a command to run...

CoIR : Un Benchmark Complet pour les Modèles de Récupération d'Informations sur le Code

Xiangyang Li* Kucai Dong* Yi Quan Lee* Wei Xia Hao Zhang† Xinyi Dai Yasheng Wang Ruiming Tang†

Résumé

Bien que l'Information Retrieval (IR) ait connu un succès considérable dans diverses tâches de traitement du langage naturel (NLP), la plupart des systèmes d'IR traitent principalement les requêtes et les corpus en langage naturel, négligeant le domaine de la recherche de code. La recherche de code est crucialement importante mais reste sous-explorée, avec des méthodes et des benchmarks existants qui ne représentent pas adéquatement la diversité du code dans différents domaines et tâches. Pour combler cette lacune, nous présentons COIR (Code Information Retrieval Benchmark), une référence robuste et complète spécifiquement conçue pour évaluer les capacités de recherche de code. COIR comprend dix jeux de données de code soigneusement sélectionnés, couvrant huit tâches de recherche distinctes dans sept domaines variés. Nous discutons d'abord de la construction de COIR et de sa composition en jeux de données diversifiés. Ensuite, nous évaluons neuf modèles de recherche largement utilisés à l'aide de COIR, révélant des difficultés importantes dans l'exécution des tâches de recherche de code, même avec les systèmes les plus avancés actuellement disponibles. Pour faciliter son adoption et son intégration dans les flux de travail existants, COIR a été développé comme un cadre Python convivial, facilement installable via pip. Il partage le même schéma de données que d'autres benchmarks populaires comme MTEB et BEIR, permettant des évaluations croisées fluides. Grâce à COIR, nous visons à stimuler la recherche dans le domaine de la recherche de code, en fournissant un outil d'évaluation polyvalent qui encourage le développement et l'exploration ultérieurs des systèmes de recherche de code.https://github.com/CoIR-team/coir.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp