Tiefgehende Forschungssysteme, die agente AI darstellen und komplexe, mehrstufige Aufgaben durch Koordination von Schlussfolgerung, Suche im offenen Web sowie in Benutzerdateien und Werkzeugnutzung lösen, entwickeln sich zunehmend hin zu hierarchischen Architekturen mit einem Planer, Koordinator und Ausführern. In der Praxis bleibt die end-to-end-Trainierung ganzer Systemstapel jedoch weiterhin unpraktisch; daher wird meist ein einzelner Planer trainiert, der mit zentralen Werkzeugen wie Suche, Web-Browsing und Code-Generierung verbunden ist. Während die Supervised Fine-Tuning (SFT)-Methode eine hohe Protokolltreue gewährleistet, leidet sie unter Imitations- und Expositions-Bias und nutzt Rückmeldungen aus der Umgebung unzureichend aus. Präferenz-Ausrichtungsmethoden wie DPO sind schema- und Proxy-abhängig, off-policy und schwach bei der Kreditverteilung über lange Horizonte sowie bei der Abwägung mehrerer Ziele. Ein weiterer Nachteil von SFT und DPO besteht in ihrer Abhängigkeit von menschlich definierten Entscheidungspunkten und Teilfertigkeiten, die durch Schema-Design und annotierte Vergleiche festgelegt werden. Im Gegensatz dazu stimmt die Verstärkungslernmethode (Reinforcement Learning, RL) mit der geschlossenen Schleife und der Werkzeug-Interaktion in der Forschung überein, indem sie politikbasierte Strategien auf Trajektorien-Ebene optimiert, Exploration, Wiederherstellungsverhalten und fundierte Kreditverteilung ermöglicht und die Abhängigkeit von menschlichen Vorwissen sowie Bewertungs-Biases reduziert.Zu unserer Kenntnis ist dieser Überblick der erste, der speziell den RL-Grundlagen tiefgehender Forschungssysteme gewidmet ist. Er systematisiert die Forschung nach DeepSeek-R1 entlang dreier Achsen: (i) Datensynthese und -kuratierung; (ii) RL-Methoden für agente Forschung, die Stabilität, Stichproben-Effizienz, Behandlung langer Kontexte, Belohnungs- und Kreditgestaltung, mehrzieloptimierte Optimierung sowie multimodale Integration umfassen; und (iii) agente RL-Trainingsysteme und -Framework. Zudem behandeln wir Agentenarchitekturen und Koordinationsmechanismen sowie Evaluierung und Benchmarks, darunter aktuelle Aufgaben im Bereich Frage-Antwort (QA), visuelle Frage-Antwort (VQA), langformige Synthese sowie domainbasierte, werkzeugbasierte Aufgaben. Wir identifizieren wiederkehrende Muster, bringen Infrastrukturbremsen ans Licht und geben praktische Anleitungen zur Entwicklung robuster, transparenter tiefgehender Forschungsagenten mittels RL.