pix2code: Codegenerierung aus einem Screenshot einer grafischen Benutzeroberfläche

Die Umwandlung eines von einem Designer erstellten Screenshot einer grafischen Benutzeroberfläche in Computercode ist eine typische Aufgabe, die von Entwicklern durchgeführt wird, um maßgeschneiderte Software, Websites und Mobile Anwendungen zu erstellen. In dieser Arbeit zeigen wir, dass tiefes Lernen genutzt werden kann, um ein Modell von Anfang bis Ende zu trainieren, das Code aus einem einzelnen Eingabebild automatisch mit über 77 % Genauigkeit für drei verschiedene Plattformen (d.h. iOS, Android und webbasierte Technologien) generiert.