Feinabstimmung von Large Language Models zur Schwachstellenerkennung

Diese Arbeit präsentiert die Ergebnisse der Feinabstimmung großer Sprachmodelle (Large Language Models, LLMs) für die Aufgabe der Schwachstellendetektion in Quellcode. Wir nutzen WizardCoder, eine kürzlich vorgestellte Verbesserung des state-of-the-art LLM StarCoder, und passen es durch zusätzliche Feinabstimmung für die Schwachstellenerkennung an. Um den Trainingsprozess zu beschleunigen, modifizieren wir das Trainingsverfahren von WizardCoder und untersuchen zudem optimale Trainingsregime. Für Datensätze mit unbalancierten Klassen, bei denen deutlich mehr negative Beispiele als positive vorhanden sind, erforschen wir verschiedene Techniken zur Verbesserung der Klassifikationsleistung. Das feinabgestimmte WizardCoder-Modell erreicht eine Verbesserung in den Metriken ROC AUC und F1 sowohl auf ausgewogenen als auch auf unbalancierten Datensätzen von Schwachstellen im Vergleich zu CodeBERT-ähnlichen Modellen und demonstriert somit die Wirksamkeit der Anpassung vortrainierter LLMs für die Schwachstellendetektion im Quellcode. Die zentralen Beiträge dieser Arbeit liegen in der Feinabstimmung des state-of-the-art-Code-LLM WizardCoder, der Steigerung der Trainingsgeschwindigkeit ohne Leistungseinbuße, der Optimierung des Trainingsverfahrens und der Trainingsregime, der Behandlung der Klassenunbalancierung sowie der Verbesserung der Leistung auf anspruchsvollen Datensätzen zur Schwachstellenerkennung. Dies unterstreicht das Potenzial des Transferlernens durch Feinabstimmung großer vortrainierter Sprachmodelle für spezialisierte Aufgaben der Quellcodeanalyse.