Große Sprachmodelle (LLMs) nutzen in der Regel die top-k-Kontexte eines Retrievers in der retrievalverstärkten Generierung (RAG). In dieser Arbeit stellen wir einen neuartigen Framework für die Anweisungsfine-Tuning, namens RankRAG, vor, der ein einzelnes LLM für zwei Aufgaben gleichzeitig anpassen lässt: Kontextranking und Antwortgenerierung in RAG. Insbesondere zeigen die an Anweisungen fine-tunenden LLMs überraschend gute Leistungen, wenn lediglich ein kleiner Anteil an Ranking-Daten in das Training integriert wird, und überflügeln dabei bestehende Spezialmodelle für Ranking, einschließlich derselben LLMs, die ausschließlich auf einer großen Menge an Ranking-Daten fine-tuned wurden. Für die Generierung vergleichen wir unser Modell mit zahlreichen starken Baselines, darunter GPT-4-0613, GPT-4-turbo-2024-0409 sowie ChatQA-1.5, einem Open-Source-Modell mit aktuell bester Leistung auf RAG-Benchmarks. Konkret übertrifft unser Llama3-RankRAG das Modell Llama3-ChatQA-1.5 sowie die GPT-4-Modelle signifikant auf neun wissensintensiven Benchmarks. Zudem erzielt es ohne Anweisungsfine-Tuning auf biomedizinischen Daten vergleichbare Ergebnisse wie GPT-4 auf fünf RAG-Benchmarks im biomedizinischen Bereich, was seine hervorragende Fähigkeit zur Generalisierung auf neue Domänen unterstreicht.