MarianCG: Ein Transformer-Modell zur Codegenerierung, inspiriert durch die maschinelle Übersetzung

Die Idee, dass Computer ihre eigenen Programme erstellen können, ist äußerst bedeutend, und viele Forscher arbeiten an dieser Herausforderung. Codegenerierung wird als der Prozess beschrieben, ausgeführbaren Code zu erzeugen, der direkt auf dem Computer ausgeführt werden kann und den Anforderungen natürlicher Sprache entspricht. Dies ist ein faszinierendes Thema, das Entwicklern helfen könnte, eine neue Softwaretechnologie oder Programmiersprache zu erlernen, oder einfach eine effiziente Methode darstellen könnte, um durch Beschreibung in natürlicher Sprache Code zu erstellen. In diesem Paper stellen wir MarianCG vor, ein Transformer-Modell zur Codegenerierung, das eingesetzt wird, um die Herausforderung der Codegenerierung aus natürlichen Sprachbeschreibungen – speziell Python-Code – zu bewältigen. Die Grundlage unseres NL-zu-Code-Übersetzungs-Engines bildet Marian Neural Machine Translation (NMT), das zentrale Modell des Microsoft Translator, und stellt das Herzstück des Lehrmodells dar. MarianMT fungiert in unserer Studie als Lehrer-Sprachmodell und gehört zu den erfolgreichsten Transformer-Modellen für maschinelle Übersetzung. In unserem Ansatz verwenden wir eine sinusförmige Positionsembedding-Technik zur Darstellung der Position jedes Tokens im Text sowie keine Layer-Normalisierungsembedding. Unser Ansatz zur Codegenerierung, MarianCG, basiert auf dem Fine-Tuning eines maschinellen Übersetzungs-Prätrainierungsmodells. Dadurch zeigen wir, dass ein vortrainiertes Übersetzungsmodell auch als Codegenerierungsmodell funktionieren und effektiv eingesetzt werden kann. Das vorgeschlagene Modell übertrifft bei der Aufgabe der Codegenerierung neuere State-of-the-Art-Modelle, insbesondere wenn es auf den Datensätzen CoNaLa und DJANGO trainiert wurde. Auf dem CoNaLa-Datensatz erreicht das MarianCG-Modell eine BLEU-Score von 34,43 und eine exakte Übereinstimmungspräzision von 10,2 %. Zudem erzielt das Modell auf dem DJANGO-Datensatz einen BLEU-Score von 90,41 und eine exakte Übereinstimmungspräzision von 81,83 %. Die Implementierung des MarianCG-Modells und relevante Ressourcen sind unter https://www.github.com/AhmedSSoliman/MarianCG-NL-to-Code verfügbar.