CoIR: 코드 정보 검색 모델을 위한 포괄적인 벤치마크

정보 검색(IR)이 다양한 자연어 처리(NLP) 작업에서 상당한 성공을 거두었음에도 불구하고, 대부분의 IR 시스템은 주로 자연어 쿼리와 코퍼스를 처리하며 코드 검색 영역을 간과하고 있습니다. 코드 검색은 매우 중요하지만, 여전히 충분히 연구되지 않고 있으며, 기존의 방법과 벤치마크는 다양한 도메인과 작업에 걸친 코드의 다양성을 제대로 반영하지 못하고 있습니다. 이 문제를 해결하기 위해, 우리는 COIR(Code Information Retrieval Benchmark)를 소개합니다. COIR는 코드 검색 능력을 평가하기 위해 특별히 설계된 강력하고 포괄적인 벤치마크입니다. COIR은 7개의 다양한 도메인에 걸쳐 8개의 독특한 검색 작업을 포함하는 10개의 정교하게 구성된 코드 데이터셋으로 구성되어 있습니다. 먼저 COIR의 구축 과정과 그 다양한 데이터셋 구성에 대해 논의하겠습니다. 또한, COIR를 사용하여 널리 사용되는 9개의 검색 모델을 평가하여 최신 시스템조차도 코드 검색 작업에서 큰 어려움을 겪고 있음을 밝혔습니다. COIR는 기존 연구 워크플로우 내에서 쉽게 채택하고 통합할 수 있도록 사용자 친화적인 Python 프레임워크로 개발되었으며, pip를 통해 쉽게 설치할 수 있습니다. MTEB 및 BEIR와 같은 다른 인기 있는 벤치마크와 동일한 데이터 스키마를 공유하여 원활한 크로스-벤치마크 평가가 가능합니다. COIR을 통해 우리는 코드 검색 영역에서 연구를 활성화하고, 더 많은 발전과 탐구를 유도하는 다목적 벤치마킹 도구를 제공하려고 합니다.https://github.com/CoIR-team/coir.