VulScribeR: Untersuchung der RAG-basierten Schwachstellenverstärkung mit LLMs

Die Erkennung von Sicherheitslücken ist entscheidend für die Software-Sicherheit, doch tiefenlernbasierte Vulnerabilitätsdetektoren (DLVD) leiden unter einem Mangel an Trainingsdaten, was ihre Effektivität einschränkt. Datenaugmentation könnte diesen Datensatzmangel potenziell abmildern, doch die Augmentation von anfälligem Code ist herausfordernd und erfordert eine generative Lösung, die die Vulnerabilität beibehält. Bisherige Ansätze haben sich lediglich auf die Generierung von Beispielen mit einzelnen Anweisungen oder spezifischen Arten von Schwachstellen konzentriert. Kürzlich wurden große Sprachmodelle (LLMs) mit vielversprechenden Ergebnissen bei verschiedenen Aufgaben der Codegenerierung und -verstehbarkeit eingesetzt, insbesondere wenn sie mit Retrieval-Augmented Generation (RAG) kombiniert werden. Daher präsentieren wir VulScribeR, eine neuartige LLM-basierte Lösung, die sorgfältig kuratierte Prompt-Vorlagen nutzt, um anfällige Datensätze zu erweitern. Genauer untersuchen wir drei Strategien zur Augmentation sowohl ein- als auch mehrzeiliger Schwachstellen mittels LLMs: Mutation, Injection und Extension. Unsere umfassende Evaluation an vier Schwachstellen-Datensätzen und vier DLVD-Modellen, durchgeführt mit drei LLMs, zeigt, dass unser Ansatz zwei state-of-the-art-Methoden, Vulgen und VGX, sowie Random Oversampling (ROS), bei durchschnittlich 5.000 generierten anfälligen Beispielen um 27,48 %, 27,93 % und 15,41 % im F1-Score übertrifft, und bei 15.000 generierten Beispielen um 53,84 %, 54,10 %, 69,90 % und 40,93 %. Unser Ansatz demonstriert die Machbarkeit einer großskaligen Datenaugmentation, indem er 1.000 Proben zu einem Preis von lediglich 1,88 US-Dollar erzeugt.