CodeTrans: Auf dem Weg zum Entschlüsseln der Sprache des Silicium-Codes durch selbstüberwachtes Tiefenlernen und Hochleistungsrechnen

Aktuell vereinfachen zunehmend reifere Anwendungen der natürlichen Sprachverarbeitung das Leben der Menschen. Solche Anwendungen werden durch Quellcode erstellt – die Sprache der Softwaretechnik. Allerdings sind Anwendungen zur Verarbeitung der Quellsprache, um den Softwareentwicklungsprozess zu erleichtern, noch unterrepräsentiert in der Forschung. Gleichzeitig hat sich das Transformer-Modell, insbesondere in Kombination mit Transfer-Lernen, als eine leistungsstarke Technik für Aufgaben der natürlichen Sprachverarbeitung erwiesen. Diese Durchbrüche weisen einen vielversprechenden Weg auf, um Quellcode zu verarbeiten und Softwaretechnikaufgaben zu lösen. In dieser Arbeit wird CodeTrans vorgestellt – ein Encoder-Decoder-Transformer-Modell für Aufgaben im Bereich der Softwaretechnik, das die Effektivität von Encoder-Decoder-Transformer-Modellen für sechs Softwaretechnikaufgaben untersucht, darunter dreizehn Teil-Aufgaben. Darüber hinaus haben wir die Auswirkungen verschiedener Trainingsstrategien untersucht, einschließlich Einzel-Aufgaben-Lernen (single-task learning), Transfer-Lernen (transfer learning), Mehrfach-Aufgaben-Lernen (multi-task learning) und Mehrfach-Aufgaben-Lernen mit Feinabstimmung (fine-tuning). CodeTrans übertrifft die besten bisher bekannten Modelle in allen Aufgaben. Um zukünftige Arbeiten im Bereich der Softwaretechnik zu beschleunigen, haben wir unsere vortrainierten Modelle von CodeTrans veröffentlicht: https://github.com/agemagician/CodeTrans