HyperAIHyperAI

Command Palette

Search for a command to run...

自動コード要約のための基礎モデルの構築

Jian Gu Pasquale Salza Harald C. Gall

概要

自動コード要約は、手動での書き込みの必要性を軽減するため、日常的なソフトウェア開発に有益です。現在、人工知能はパラダイムシフトを経験しています。大量のデータで事前学習され、下流タスクに微調整された基盤モデルが、特別にカスタマイズされたモデルを上回っています。この傾向は、ゼロから学習する代わりに基盤モデルを再利用することを考えるきっかけとなりました。そこで、神経モデルに基づく柔軟かつ堅牢な自動コード要約の手法を提案します。CodeBERTやGPT-2などの利用可能な基盤モデルを組み合わせて、単一の神経モデルであるAdaMoを開発しました。さらに、ガウスノイズを使用してコンテキスト情報を模擬し、潜在表現の最適化を行いました。また、知識転送の観点から連続的な事前学習と中間微調整という2つの適応スキームを導入し、一般的なシーケンス・ツー・シーケンス学習の中間段階タスクを設計しました。最後に、最新のモデルとの比較により、コード要約用ベンチマークデータセットに対してAdaMoを評価しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
自動コード要約のための基礎モデルの構築 | 記事 | HyperAI超神経