LLM-Leistung steigern: Mehr Daten für bessere Antworten

Die Leistung von großen Sprachmodellen (LLMs) hängt entscheidend von der Qualität und Menge an Kontextdaten ab, die ihnen zur Verfügung gestellt werden. Obwohl LLMs während der Vortrainingsphase über Trillionen von Texttoken aus dem Internet verfügen, bleibt ihre Effektivität in der Praxis oft begrenzt, weil nicht ausreichend relevante Daten im Inference-Modus bereitgestellt werden. Ein zentrales Problem ist, dass Entwickler häufig nur den reinen Text von Dokumenten, aber nicht zusätzliche Metadaten wie Dateinamen, Pfade, Erstellungsdaten oder Seitenzahlen in den Kontext aufnehmen – obwohl diese Informationen für die genaue Beantwortung von Fragen entscheidend sein können. Beispielsweise kann ein Nutzer auf den Dateinamen verweisen oder nach Inhalten in bestimmten Dokumenttypen fragen, die nur über Metadaten zu identifizieren sind. Um die Leistung zu steigern, sollten Entwickler nicht nur den Text, sondern auch verfügbare Metadaten in den Kontext integrieren. Dazu gehören Dateityp, Ordnernamen, Zeitstempel, Seitenzahlen oder andere strukturierte Informationen, die bereits in der Anwendung vorhanden sind. Diese Daten können leicht extrahiert und in die Kontextfenster der LLMs eingefügt werden. In visuellen oder audio-basierten Anwendungen lassen sich vergleichbare Metadaten wie Bildgröße, Auflösung, Tonhöhe oder Sprachkanal nutzen. Wenn interne Metadaten nicht ausreichen, können zusätzliche Informationen durch prä- oder on-demand-Informationsextraktion gewonnen werden. Bei der prä-Extraktion wird vor der Verarbeitung von Benutzeranfragen mithilfe von LLMs automatisch relevante Daten wie Dokumenttyp, Namen, Daten oder Orte aus den Texten extrahiert – beispielsweise durch gezielte Systemprompts. Diese Methode ist effizient, erfordert aber vorab definierte Extraktionsziele. Für dynamischere Anwendungen eignet sich dagegen die on-demand-Extraktion: Hier verfügt das LLM über eine Funktion, die es aktiv aufrufen kann, um bestimmte Informationen aus einem Text zu ziehen – ähnlich wie Anthropic es in seinem Deep Research-System umsetzt. Dabei muss jedoch auf den Tokenverbrauch geachtet werden, da häufige Aufrufe die Kosten und Latenz erhöhen können. Spezifische Anwendungsfälle zeigen den Nutzen: Bei der RAG-Implementierung (Retrieval-Augmented Generation) ermöglicht die Metadatenfilterung, nur relevante Dokumente – etwa nur Excel-Dateien – in die Suche einzubeziehen, was die Effizienz und Genauigkeit erhöht. Bei Fragen zu aktuellen Ereignissen, die nach dem Trainingsdatum des LLM liegen, kann ein AI-Agent über eine Internet-Suche aktuelle Informationen abrufen, was die Antwortfähigkeit erheblich verbessert. Insgesamt zeigt sich: Die kontextuelle Reichweite von LLMs kann signifikant gesteigert werden, indem nicht nur Text, sondern auch strukturierte und semantische Zusatzdaten genutzt werden. Die fehlende Integration solcher Daten ist oft der Grund für fehlerhafte oder ungenaue Antworten. Entwickler sollten daher systematisch nach verfügbaren Metadaten suchen und gezielt zusätzliche Informationen durch LLM-gestützte Extraktion hinzufügen – ein entscheidender Schritt zur Optimierung von AI-Anwendungen. Industrieexperten betonen, dass die effektive Nutzung von Kontextdaten ein zentraler Unterschied zwischen „funktionsfähigen“ und „hochperformanten“ LLM-Anwendungen ist. Unternehmen wie Google, Anthropic und OpenAI setzen zunehmend auf Metadaten- und Retrieval-Strategien, um die Genauigkeit und Relevanz ihrer Modelle zu steigern. Tools zur automatisierten Metadatenextraktion und Evaluation von LLM-Ausgaben werden daher zu einem kritischen Bestandteil der AI-Entwicklung. Die Zukunft der LLM-Anwendungen liegt nicht nur in größeren Modellen, sondern in smarteren, datenreicherem Kontextmanagement.