Yuling Shi Yichun Qian Hongyu Zhang Beijun Shen Xiaodong Gu

Abstract

Die Generierung von Code unter langen Kontexten wird zunehmend kritisch, da große Sprachmodelle (Large Language Models, LLMs) zunehmend dazu verpflichtet werden, über umfangreiche Informationen innerhalb einer Codebasis zu reasoning. Obwohl jüngste Fortschritte es Code-LLMs ermöglichen, lange Eingaben zu verarbeiten, bleiben hohe API-Kosten und hohe Generierungsverzögerungen erhebliche Engpässe. Bestehende Techniken zur Kontextkompression, wie beispielsweise LLMLingua, erzielen für allgemeinen Text vielversprechende Ergebnisse, ignorieren jedoch spezifische Strukturen und Abhängigkeiten im Code, was zu suboptimalen Leistungen bei Programmieraufgaben führt. In diesem Paper stellen wir LongCodeZip vor, einen neuartigen, plug-and-play-fähigen Framework zur Codekompression, der speziell für Code-LLMs entwickelt wurde. LongCodeZip setzt eine zweistufige Strategie um: (1) grobgranulare Kompression, bei der mittels bedingter Perplexität bezüglich der Anweisung funktionale Abschnitte identifiziert und bewertet werden, wobei nur die relevantesten Funktionen beibehalten werden; und (2) feingranulare Kompression, bei der die verbleibenden Funktionen basierend auf der Perplexität in Blöcke segmentiert und unter einer adaptiven Token-Budget-Bedingung eine optimale Teilmenge ausgewählt wird, um die Relevanz zu maximieren. Evaluierungen an mehreren Aufgaben, darunter Code-Vervollständigung, Zusammenfassung und Fragebeantwortung, zeigen, dass LongCodeZip konsequent die Baseline-Methoden übertrifft und dabei bis zu einem Kompressionsverhältnis von 5,6:1 erreicht, ohne die Aufgabenleistung zu beeinträchtigen. Durch effektive Reduktion der Kontextgröße unter gleichzeitiger Erhaltung wesentlicher Informationen ermöglicht LongCodeZip es LLMs, besser in realen, großskaligen Code-Szenarien zu skalieren und trägt somit zur Effizienzsteigerung und Weiterentwicklung der Fähigkeiten von Code-Intelligenz-Anwendungen bei.