HyperAIHyperAI

Command Palette

Search for a command to run...

CoIR: コード情報検索モデルのための包括的なベンチマーク

Xiangyang Li* Kucai Dong* Yi Quan Lee* Wei Xia Hao Zhang† Xinyi Dai Yasheng Wang Ruiming Tang†

概要

情報検索(Information Retrieval: IR)は、さまざまな自然言語処理タスクにおいて大きな成功を収めていますが、ほとんどのIRシステムは主に自然言語のクエリとコーパスを扱い、コード検索の領域を軽視しています。コード検索は極めて重要であり、既存の手法やベンチマークが様々なドメインやタスクにおけるコードの多様性を十分に表現していないという問題があります。このギャップに対応するため、私たちはCOIR(Code Information Retrieval Benchmark)を提案します。これは、コード検索能力を評価するために特別に設計された堅牢で包括的なベンチマークです。COIRには7つの異なるドメインにまたがる8つの特徴的な検索タスクを対象とした10の精査されたコードデータセットが含まれています。まず、COIRの構築とその多様なデータセットの構成について説明します。さらに、9つの広く使用されている検索モデルを使用してCOIRでの評価を行い、最先端のシステムであってもコード検索タスクに取り組む際の著しい困難さを明らかにしました。既存の研究ワークフローへの容易な導入と統合を促進するため、COIRはユーザー向けのPythonフレームワークとして開発され、pip経由で簡単にインストールできます。他の人気のあるベンチマーク(MTEBやBEIRなど)と同じデータスキーマを持つことで、ベンチマーク間でのシームレスな評価が可能となっています。COIRを通じて、私たちはコード検索分野での研究活性化を目指し、より多くの開発と探求を促す多用途なベンチマーキングツールを提供します。https://github.com/CoIR-team/coir.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています