LCC_python は、Microsoft が 2023 年に公開した Python コードデータセットであり、Large Code Corpus（LCC）プロジェクトに由来しています。コード生成、コード補完、コード理解などのタスクに高品質なコードコーパスを提供することを目的としています。

このデータセットは約 2 GB で、120,000 件の Python コードサンプルを含み、大規模なオープンソースコードベースから収集され、トレーニングセット、検証セット、テストセットに分割されています。各サンプルは主にコンテキストコードと対応するターゲットコードスニペットで構成され、コード関連モデルの教師あり学習や事前学習に使用できます。

データセット構成

データセットには以下の3つの部分が含まれます：

• トレーニングセット（train）：100,000 件のサンプル、約 1.76 GB。
• 検証セット（validation）：10,000 件のサンプル、約 146 MB。
• テストセット（test）：10,000 件のサンプル、約 149 MB。

各サンプルには主に以下のフィールドが含まれます：

• context：コードのコンテキスト情報。
• gt：Ground Truth、つまりターゲットコードまたはラベル。