2ヶ月前

自動コード要約のための基礎モデルの構築

Gu, Jian ; Salza, Pasquale ; Gall, Harald C.
自動コード要約のための基礎モデルの構築
要約

自動コード要約は、手動での書き込みの必要性を軽減するため、日常的なソフトウェア開発に有益です。現在、人工知能はパラダイムシフトを経験しています。大量のデータで事前学習され、下流タスクに微調整された基盤モデルが、特別にカスタマイズされたモデルを上回っています。この傾向は、ゼロから学習する代わりに基盤モデルを再利用することを考えるきっかけとなりました。そこで、神経モデルに基づく柔軟かつ堅牢な自動コード要約の手法を提案します。CodeBERTやGPT-2などの利用可能な基盤モデルを組み合わせて、単一の神経モデルであるAdaMoを開発しました。さらに、ガウスノイズを使用してコンテキスト情報を模擬し、潜在表現の最適化を行いました。また、知識転送の観点から連続的な事前学習と中間微調整という2つの適応スキームを導入し、一般的なシーケンス・ツー・シーケンス学習の中間段階タスクを設計しました。最後に、最新のモデルとの比較により、コード要約用ベンチマークデータセットに対してAdaMoを評価しました。

自動コード要約のための基礎モデルの構築 | 最新論文 | HyperAI超神経