Inferenz (Reasoning) bezeichnet den Prozess, bei dem ein trainiertes Modell auf neue Eingaben eine Vorwärtsberechnung durchführt und das Ergebnis ausgibt – dabei werden die Gewichte nicht aktualisiert, sondern lediglich die bereits gelernten Parameter „verwendet“. Bei großen Sprachmodellen (LLMs) unterteilt sich die Inferenz in der Regel in zwei Phasen: Zunächst wird die gesamte Eingabeaufforderung (Prompt) parallel codiert (Prefill), anschließend erfolgt eine autoregressive Generierung Token für Token (Decode). Diese beiden Phasen weisen unterschiedliche Ressourcenerfordernisse auf: Prefill ist rechenintensiv, während Decode speicherbandbreitenintensiv ist, weshalb unterschiedliche Optimierungsansätze erforderlich sind.

Der Engpass bei der Inferenz liegt oft nicht in der Rechenleistung, sondern im Grafikspeicher (VRAM): Jeder Anfrage erfordert die Speicherung eines mit der Generierung wachsenden KV-Caches. Ein schlechtes Management führt zu schwerwiegender Fragmentierung und Redundanz, was die Anzahl der gleichzeitig verarbeitbaren Anfragen begrenzt. Im Jahr 2023 stellten Kwon et al. in ihrem Paper 《Efficient Memory Management for Large Language Model Serving with PagedAttention》 die PagedAttention-Technologie vor. Das damit ausgestattete Inferenz-Framework vLLM steigerte den Durchsatz bei gleicher Latenz um das 2- bis 4-fache. Das VRAM-Management von Inferenzsystemen ist im Wesentlichen ein Problem des Betriebssystemdesigns. Darüber hinaus sind Quantisierung, Wissensdistillation, spekulative Dekodierung und kontinuierliches Batching gängige Methoden zur Beschleunigung. Unter Anlehnung an die Konzepte des virtuellen Speichers und der Seitenaufteilung im Betriebssystem wird der KV-Cache in Blöcke fester Größe aufgeteilt und bei Bedarf gemappt, was die Verschwendung nahezu auf null reduziert und die Freigabe innerhalb einer Anfrage sowie über Anfragen hinweg ermöglicht.

Aus der Perspektive der Kostenstruktur ist das Training eine einmalige Investition, während die Inferenz laufende Kosten verursacht. Die Latenz und der Durchsatz der Inferenz bestimmen unmittelbar, ob große Modelle im großen Maßstab eingesetzt werden können. Solche Systemoptimierungen sind entscheidend, um Modelle von der theoretischen Nutzbarkeit in einen wirtschaftlich tragfähigen Betrieb zu überführen. [JIALIU_0]