CoIR : Un Benchmark Complet pour les Modèles de Récupération d'Informations sur le Code

Bien que l'Information Retrieval (IR) ait connu un succès considérable dans diverses tâches de traitement du langage naturel (NLP), la plupart des systèmes d'IR traitent principalement les requêtes et les corpus en langage naturel, négligeant le domaine de la recherche de code. La recherche de code est crucialement importante mais reste sous-explorée, avec des méthodes et des benchmarks existants qui ne représentent pas adéquatement la diversité du code dans différents domaines et tâches. Pour combler cette lacune, nous présentons COIR (Code Information Retrieval Benchmark), une référence robuste et complète spécifiquement conçue pour évaluer les capacités de recherche de code. COIR comprend dix jeux de données de code soigneusement sélectionnés, couvrant huit tâches de recherche distinctes dans sept domaines variés. Nous discutons d'abord de la construction de COIR et de sa composition en jeux de données diversifiés. Ensuite, nous évaluons neuf modèles de recherche largement utilisés à l'aide de COIR, révélant des difficultés importantes dans l'exécution des tâches de recherche de code, même avec les systèmes les plus avancés actuellement disponibles. Pour faciliter son adoption et son intégration dans les flux de travail existants, COIR a été développé comme un cadre Python convivial, facilement installable via pip. Il partage le même schéma de données que d'autres benchmarks populaires comme MTEB et BEIR, permettant des évaluations croisées fluides. Grâce à COIR, nous visons à stimuler la recherche dans le domaine de la recherche de code, en fournissant un outil d'évaluation polyvalent qui encourage le développement et l'exploration ultérieurs des systèmes de recherche de code.https://github.com/CoIR-team/coir.