Grundmodelle für die automatische Zusammenfassung von Code zusammenstellen

Die automatische Code-Zusammenfassung ist für den täglichen Softwareentwicklungsprozess von Vorteil, da sie die Notwendigkeit manuellen Schreibens reduzieren kann. Derzeit erlebt die künstliche Intelligenz eine Paradigmenverschiebung: Fundierungsmodelle (foundation models), die auf umfangreichen Daten vorab trainiert und an nachgeschaltete Aufgaben angepasst wurden, übertreffen speziell angepasste Modelle. Diese Entwicklung hat uns inspiriert, Fundierungsmodelle wiederverwenden zu wollen, anstatt von Grund auf neu zu lernen. Daher schlagen wir einen flexiblen und robusten Ansatz für die automatische Code-Zusammenfassung vor, der auf neuronalen Modellen basiert. Wir kombinieren verfügbare Fundierungsmodelle wie CodeBERT und GPT-2 zu einem einzigen neuronalen Modell namens AdaMo. Zudem nutzen wir Gaußsches Rauschen zur Simulation kontextueller Informationen, um die latente Darstellung zu optimieren. Des Weiteren führen wir zwei adaptive Verfahren ein, die aus der Perspektive des Wissenstransfers entwickelt wurden: kontinuierliches Vortraining und intermediäres Feinjustierung (intermediate finetuning). Für das allgemeine sequenzbasierte Lernen gestalten wir intermediäre Stufenaufgaben. Schließlich bewerten wir AdaMo anhand eines Benchmark-Datensatzes für Code-Zusammenfassungen, indem wir es mit den neuesten Modellen vergleichen.