LLM-Abtastung, also bekannt als Sampling, ist der Mechanismus, mit dem ein Sprachmodell den nächsten Textabschnitt generiert. Anstatt stets die wahrscheinlichste nächste Wortwahl zu wählen, nutzen Techniken wie Top-K, Top-P und Temperatur kontrollierte Zufälligkeit, um natürlichere, kreativere und vielfältigere Texte zu erzeugen. Diese Ansätze ermöglichen ein besseres Gleichgewicht zwischen Konsistenz und Originalität. Top-K-Abtastung funktioniert wie eine mehrfachwahlbasierte Prüfung: Statt alle möglichen Wörter zu berücksichtigen, beschränkt das Modell seine Auswahl auf die k wahrscheinlichsten Kandidaten. Wenn beispielsweise k=5 gewählt wird, sortiert das Modell alle möglichen nächsten Wörter nach ihrer Wahrscheinlichkeit und wählt dann zufällig eines aus den fünf höchsten aus. Dies verhindert, dass das Modell zu oft dieselben Standardantworten liefert, erhöht aber auch die Wahrscheinlichkeit, dass seltene, aber passende Wörter auftauchen. Der Vorteil liegt in der Vorhersagbarkeit und Kontrolle – je niedriger k, desto konservativer die Ausgabe. Allerdings kann ein zu niedriges k zu repetitiven oder eingeschränkten Texten führen. Top-P-Abtastung (auch Nucleus Sampling genannt) ist flexibler: Anstatt eine feste Anzahl von Wörtern zu wählen, werden alle Wörter in einer Liste nach Wahrscheinlichkeit sortiert, und die Auswahl wird so begrenzt, dass die Summe ihrer Wahrscheinlichkeiten den Wert P erreicht. Bei P=0,9 werden beispielsweise nur jene Wörter berücksichtigt, deren kumulierte Wahrscheinlichkeit 90 % erreicht. Dies ermöglicht eine adaptive Auswahl – bei hoher Unsicherheit wird mehr Auswahl erlaubt, bei klarer Vorhersage nur wenige. Top-P ist oft kreativer und natürlicher als Top-K, da es sich an der tatsächlichen Wahrscheinlichkeitsverteilung orientiert. Die Temperatur steuert die „Zufälligkeit“ der Auswahl: Bei niedriger Temperatur (z. B. 0,1) wird das Modell extrem konservativ – es bevorzugt die wahrscheinlichsten Wörter stark, was zu vorhersehbaren, aber oft trockenen Texten führt. Bei hoher Temperatur (z. B. 1,0 oder höher) wird die Wahrscheinlichkeitsverteilung „glatt“ gemacht, was seltene oder ungewöhnliche Wörter stärker hervorhebt und kreativere, aber potenziell inkonsistente Texte erzeugt. Temperatur ist besonders nützlich, wenn man zwischen präziser Information und kreativer Dichte wählen muss. In der Praxis kombinieren Entwickler oft mehrere dieser Techniken – z. B. Top-K mit Temperatur – um den besten Kompromiss zwischen Kontrolle und Vielfalt zu finden. Moderne Modelle wie GPT-4 oder Llama 3 nutzen diese Parameter, um die Ausgabe an den Kontext anzupassen: Bei technischen Dokumenten wird oft niedrige Temperatur und Top-K verwendet, bei Dichtung oder Storytelling dagegen höhere Werte. Experten schätzen diese Techniken als zentral für die menschliche Textähnlichkeit von KI. Laut Forschern der Stanford AI Lab ermöglichen sie „kontrollierte Kreativität“, ohne die Kohärenz zu opfern. Unternehmen wie OpenAI, Anthropic und Meta integrieren diese Parameter in ihre APIs, um Nutzern die Feinsteuerung der Ausgabe zu ermöglichen. Die Wahl der Parameter ist oft ein künstlerischer Prozess – eine Mischung aus Technik und Intuition – und entscheidend für die Qualität der KI-generierten Inhalte.