HyperAIHyperAI

Command Palette

Search for a command to run...

Grundmodelle für die automatische Zusammenfassung von Code zusammenstellen

Jian Gu Pasquale Salza Harald C. Gall

Zusammenfassung

Die automatische Code-Zusammenfassung ist für den täglichen Softwareentwicklungsprozess von Vorteil, da sie die Notwendigkeit manuellen Schreibens reduzieren kann. Derzeit erlebt die künstliche Intelligenz eine Paradigmenverschiebung: Fundierungsmodelle (foundation models), die auf umfangreichen Daten vorab trainiert und an nachgeschaltete Aufgaben angepasst wurden, übertreffen speziell angepasste Modelle. Diese Entwicklung hat uns inspiriert, Fundierungsmodelle wiederverwenden zu wollen, anstatt von Grund auf neu zu lernen. Daher schlagen wir einen flexiblen und robusten Ansatz für die automatische Code-Zusammenfassung vor, der auf neuronalen Modellen basiert. Wir kombinieren verfügbare Fundierungsmodelle wie CodeBERT und GPT-2 zu einem einzigen neuronalen Modell namens AdaMo. Zudem nutzen wir Gaußsches Rauschen zur Simulation kontextueller Informationen, um die latente Darstellung zu optimieren. Des Weiteren führen wir zwei adaptive Verfahren ein, die aus der Perspektive des Wissenstransfers entwickelt wurden: kontinuierliches Vortraining und intermediäres Feinjustierung (intermediate finetuning). Für das allgemeine sequenzbasierte Lernen gestalten wir intermediäre Stufenaufgaben. Schließlich bewerten wir AdaMo anhand eines Benchmark-Datensatzes für Code-Zusammenfassungen, indem wir es mit den neuesten Modellen vergleichen.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Grundmodelle für die automatische Zusammenfassung von Code zusammenstellen | Paper | HyperAI