対照的なコード表現学習

最近の研究では、ソースコードのコンテキストからトークンを再構築することにより、コンテキストに依存した表現を学習しています。英語でのコード要約などの下流の意味理解タスクにおいて、これらの表現はプログラムの機能性を捉えることが望ましいです。しかし、私たちは人気のある再構築ベースのBERTモデルが、セマンティクスを保ったままでもソースコードの編集に対して敏感であることを示しました。そこで、ContraCode（対照的な事前学習タスク）を提案します。このタスクは、多くの非同等な分散子の中からプログラムの機能的に類似したバリエーションを識別する神経ネットワークを事前学習します。これらのバリエーションは、データ拡張の一形態として自動化されたソース・ツー・ソース・コンパイラを使用して効率的に生成されます。対照的な事前学習は、JavaScriptの要約とTypeScriptの型推論精度を2%から13%向上させます。また、新たなゼロショットJavaScriptコードクローン検出データセットを提案し、ContraCodeがより堅牢で意味論的に有意義であることを示しました。これにより、敵対的設定ではRoBERTaに対して39% AUROCで優れ、自然なコードでは最大5%向上しています。