HyperAI
Command Palette
Search for a command to run...
LCC_python 大規模 Python コードデータセット
LCC_python は、Microsoft により 2023 年に公開された Python コードデータセットであり、Large Code Corpus (LCC) プロジェクトに由来します。コード生成、コード補完、コード理解などのタスク向けの、高品質なコードコーパスを提供することを目的としています。
このデータセットには 120,000 件の Python コードサンプルが含まれており、大規模なオープンソースコードベースから収集され、訓練セット、検証セット、テストセットに分割されています。各サンプルは主にコンテキストコードと対応するターゲットコードスニペットを含み、コード関連モデルの教師あり学習や事前学習に利用できます。
データセットの構成
データセットは以下の3つの部分で構成されています:
- 訓練セット(train):100,000 件のサンプル、約 1.76 GB。
- 検証セット(validation):10,000 件のサンプル、約 146 MB。
- テストセット(test):10,000 件のサンプル、約 149 MB。
各サンプルには主に以下のフィールドが含まれます:
- context:コードのコンテキスト情報。
- gt:Ground Truth(正解データ)、すなわちターゲットコードまたはラベル。
このデータセットはコミュニティユーザーによって提供されており、教育および情報提供のみを目的としています。著作権侵害に関わるコンテンツがある場合は、[email protected]までご連絡ください。速やかに確認し、削除いたします。