Wie beeinflusst das Benennen LLMs bei Aufgaben der Codeanalyse?

Große Sprachmodelle (Large Language Models, LLMs), wie GPT und BERT, wurden für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) entwickelt und haben als allgemeine Sprachmodelle vielversprechende Ergebnisse gezeigt. Eine wachsende Zahl von Industrieexperten und Forschern setzt LLMs zunehmend für Aufgaben der Programmanalyse ein. Ein wesentlicher Unterschied zwischen Programmiersprachen und natürlichen Sprachen liegt jedoch darin, dass Programmierer die Freiheit besitzen, beliebige Namen für Variablen, Methoden und Funktionen in einem Programm zu vergeben, während ein Autor natürlicher Sprache dies nicht kann. Intuitiv beeinflusst die Qualität der Namensgebung in einem Programm die Leistungsfähigkeit von LLMs bei Aufgaben der Programmanalyse. Diese Arbeit untersucht, wie Namensgebung die Leistung von LLMs bei der Analyse von Code beeinflusst. Konkret erstellen wir eine Reihe von Datensätzen, die Code enthalten, in dem Variablen, Methoden und Funktionen absichtlich sinnlose oder irreführende Namen tragen. Anschließend führen wir Code-Analyse-Aufgaben mit gut trainierten Modellen (CodeBERT) auf diesen Datensätzen durch. Die experimentellen Ergebnisse zeigen, dass die Namensgebung erheblichen Einfluss auf die Leistung von LLM-basierten Code-Analyse-Aufgaben hat, was darauf hindeutet, dass die Lernung von Code-Darstellungen mittels LLMs stark von eindeutigen und sinnvollen Bezeichnungen im Code abhängt. Zudem führen wir eine Fallstudie zu speziellen Aufgaben der Programmanalyse mit GPT durch, die weitere Einsichten liefert.