Kleine, aber leistungsstarke Modelle für präzise multimodale Dokumentensuche: Mit den neuen Llama Nemotron RAG-Modellen lässt sich die Genauigkeit bei der Verarbeitung visueller Dokumente erheblich steigern. In der Praxis enthalten Unternehmensdokumente nicht nur Text, sondern auch Diagramme, Tabellen, Screenshots und Präsentationen – eine rein textbasierte Retrieval-Strategie verpasst dabei oft entscheidende Informationen. Multimodale RAG-Pipelines (Retrieval-Augmented Generation) überwinden diesen Limitierung, indem sie Text, Bilder und Layouts gemeinsam verarbeiten. Dabei spielen hochwertige Embeddings und ein präziser Reranker eine entscheidende Rolle: Sie bestimmen, welche Dokumentenseiten dem nachfolgenden Vision-Language-Modell (VLM) präsentiert werden. Fehlende Genauigkeit in diesen Schritten führt zu Fehlern und überzeugenden, aber falschen Antworten (Hallucinations). Die neuen Llama Nemotron-Modelle, llama-nemotron-embed-vl-1b-v2 und llama-nemotron-rerank-vl-1b-v2, sind speziell darauf ausgelegt, diese Herausforderung zu meistern. Beide Modelle sind klein (ca. 1,7 Milliarden Parameter), arbeiten out-of-the-box mit gängigen Vector-Datenbanken und ermöglichen millisekundengenaue Suchvorgänge im Enterprise-Scalability-Bereich. Der Embedding-Modell generiert aus Text, Bild und Layout eine einheitliche, 2048-dimensionale Vektorrepräsentation, wodurch die Kompatibilität mit bestehenden Infrastrukturen gewährleistet ist. Der Reranker-Modell ist ein Cross-Encoder, der die Top-Kandidaten neu sortiert und die Relevanz der Ergebnisse signifikant verbessert. Auf fünf Benchmark-Datasets – darunter ViDoRe V1–V3, DigitalCorpora-10k und interne Datensätze – erzielte llama-nemotron-embed-vl-1b-v2 eine Recall@5 von 73,24 % bei Kombination von Text und Bild, übertraf damit seine Vorgänger und zeigte auch bei reinem Text eine bessere Leistung. Mit dem Reranker stieg die Genauigkeit um 7,2 % (Text), 6,9 % (Bild) und 6 % (Text+Bild) – auf 77,64 % im gemischten Modus. Vergleiche mit öffentlichen Alternativen wie jina-reranker-m0 und MonoQwen2-VL-v0.1 zeigen: Das Llama Nemotron-Modell übertrifft beide in den meisten Kategorien und ist kommerziell nutzbar, während andere Modelle Einschränkungen (z. B. CC-BY-NC) aufweisen. Architektonisch basiert der Embedder auf dem Llama 3.2 1B-Modell und einem SigLip2 400M-Vision-Encoder, mit mean pooling und contrastiver Lernmethode. Der Reranker verwendet eine binäre Klassifikationshead und wurde mit öffentlichen und synthetisch generierten Daten trainiert. Unternehmen wie Cadence, IBM und ServiceNow nutzen die Modelle bereits: Cadence ermöglicht Ingenieuren präzise Anfragen zu Design-Änderungen, IBM verbessert die Interpretation von Spezifikationen in Storage-Dokumenten, und ServiceNow erweitert seine „Chat with PDF“-Funktionen mit kontextbewussten, mehrschrittigen Dialogen. In der Industrie wird die Kombination aus kompakten, leistungsstarken und kommerziell nutzbaren Modellen als entscheidender Schritt zur praktikablen, fehlerarmen multimodalen Suchtechnologie angesehen. Die Modelle sind auf Hugging Face verfügbar und lassen sich nahtlos in bestehende RAG-Stacks integrieren. Für Entwickler ist dies ein effizienter Weg, um die Leistung von KI-Systemen bei der Verarbeitung komplexer Dokumente zu steigern – ohne aufwändige Anpassungen oder teure Lizenzmodelle.