HyperAIHyperAI

Command Palette

Search for a command to run...

VulScribeR: Untersuchung der RAG-basierten Schwachstellenverstärkung mit LLMs

Seyed Shayan Daneshvar Yu Nong Xu Yang Shaowei Wang Haipeng Cai

Zusammenfassung

Die Erkennung von Sicherheitslücken ist entscheidend für die Software-Sicherheit, doch tiefenlernbasierte Vulnerabilitätsdetektoren (DLVD) leiden unter einem Mangel an Trainingsdaten, was ihre Effektivität einschränkt. Datenaugmentation könnte diesen Datensatzmangel potenziell abmildern, doch die Augmentation von anfälligem Code ist herausfordernd und erfordert eine generative Lösung, die die Vulnerabilität beibehält. Bisherige Ansätze haben sich lediglich auf die Generierung von Beispielen mit einzelnen Anweisungen oder spezifischen Arten von Schwachstellen konzentriert. Kürzlich wurden große Sprachmodelle (LLMs) mit vielversprechenden Ergebnissen bei verschiedenen Aufgaben der Codegenerierung und -verstehbarkeit eingesetzt, insbesondere wenn sie mit Retrieval-Augmented Generation (RAG) kombiniert werden. Daher präsentieren wir VulScribeR, eine neuartige LLM-basierte Lösung, die sorgfältig kuratierte Prompt-Vorlagen nutzt, um anfällige Datensätze zu erweitern. Genauer untersuchen wir drei Strategien zur Augmentation sowohl ein- als auch mehrzeiliger Schwachstellen mittels LLMs: Mutation, Injection und Extension. Unsere umfassende Evaluation an vier Schwachstellen-Datensätzen und vier DLVD-Modellen, durchgeführt mit drei LLMs, zeigt, dass unser Ansatz zwei state-of-the-art-Methoden, Vulgen und VGX, sowie Random Oversampling (ROS), bei durchschnittlich 5.000 generierten anfälligen Beispielen um 27,48 %, 27,93 % und 15,41 % im F1-Score übertrifft, und bei 15.000 generierten Beispielen um 53,84 %, 54,10 %, 69,90 % und 40,93 %. Unser Ansatz demonstriert die Machbarkeit einer großskaligen Datenaugmentation, indem er 1.000 Proben zu einem Preis von lediglich 1,88 US-Dollar erzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
VulScribeR: Untersuchung der RAG-basierten Schwachstellenverstärkung mit LLMs | Paper | HyperAI