In diesem Artikel wird gezeigt, wie Reinforcement Learning (RL) mit Python für die Steuerung von Robotern eingesetzt werden kann, insbesondere im Kontext von 3D-Simulationen mit MuJoCo über die Gymnasium-Bibliothek. Der Fokus liegt auf drei zentralen RL-Ansätzen: Q-Learning, Actor-Critic-Modelle und evolutionäre Algorithmen. Zunächst wird ein Standardumgebung – der „Ant-v4“-Roboter aus MuJoCo – verwendet, um die grundlegenden RL-Konzepte zu demonstrieren. Der Ant ist ein vierbeiniger Roboter mit acht Gelenken, dessen Ziel es ist, durch gezielte Kraft- und Drehmomente in einer bestimmten Richtung voranzukommen. Durch zufällige Aktionen wird gezeigt, dass das System ohne Lernen ineffizient agiert. Um die Roboterfunktion zu erweitern, wird eine benutzerdefinierte Umgebung erstellt, in der der Roboter lernen soll, zu springen. Dazu werden die physikalischen Eigenschaften im XML-File angepasst (geringere Dichte, erhöhte Kraft in den Beinen) und die Belohnungsfunktion neu definiert, um den Aufstieg der Körpermitte zu belohnen. Dies geschieht durch eine eigene Klasse CustomAntEnv, die die ursprüngliche AntEnv überschreibt. Die Belohnung hängt von der Höhe des Rumpfes ab, wobei ein hoher Rumpf belohnt wird, und das Episode endet, wenn der Rumpf zu tief ist. Diese Anpassung macht die Umgebung spezifisch für das Ziel „Springen“. Für die Modellierung werden drei RL-Paradigmen verglichen. Zunächst wird Q-Learning mit Deep Q-Network (DQN) angewandt, aber nur nach einer Diskretisierung der kontinuierlichen Aktionen. Dazu wird ein Wrapper DiscreteEnvWrapper erstellt, der fünf diskrete Aktionen (z. B. vorwärts, rückwärts, Beine synchron) in kontinuierliche Kräfte umwandelt. Mit Stable-Baselines3 wird ein DQN-Modell trainiert, das nach 1 Mio. Timesteps lernt, den Roboter zu springen – allerdings mit ruckeligen, unfließenden Bewegungen, da DQN für kontinuierliche Aktionen ungeeignet ist. Daher wird der Actor-Critic-Ansatz, speziell SAC (Soft Actor-Critic), vorgestellt. SAC ist für kontinuierliche Aktionen optimiert und verwendet eine Kombination aus Politik (Actor) und Wertfunktion (Critic), wobei zwei Critic-Netzwerke die Robustheit erhöhen. Das Modell wird mit 100.000 Timesteps trainiert und zeigt deutlich fließendere, effizientere Bewegungen. SAC erzielt bessere Ergebnisse, da es die kontinuierliche Natur der Aktionen besser berücksichtigt. Als experimenteller Ansatz wird schließlich ein evolutionärer Algorithmus, PGPE (Policy Gradients with Parameter Exploration), vorgestellt. PGPE arbeitet nicht mit Gradientenabstieg, sondern mit einer Population von Gewichtsvektoren, die über eine Gauss-Verteilung gesteuert werden. In jeder Generation werden mehrere Politiken parallel evaluiert, und der Mittelwert (μ) und die Varianz (σ) der Verteilung werden anhand der Belohnung angepasst. Mit Evotorch wird das Modell auf der benutzerdefinierten Umgebung trainiert. Nach 100 Generationen findet sich eine gut performende Politik, die dann visuell getestet wird. Insgesamt zeigt der Artikel, dass die Wahl des RL-Algorithmus stark von der Art der Aktionen (diskret vs. kontinuierlich) und der Belohnungsstruktur abhängt. Q-Learning ist für einfache, diskrete Aufgaben geeignet, Actor-Critic-Modelle wie SAC sind für komplexe, kontinuierliche Robotersteuerung optimal, während evolutionäre Algorithmen nützlich sind, wenn Belohnungen spärlich oder schwer zu definieren sind. Die Integration von Simulatoren wie MuJoCo, Gym und Bibliotheken wie Stable-Baselines3 und Evotorch macht die Entwicklung und Testung von RL-Modellen für Roboter effizient und zugänglich. Die vorgestellten Codebeispiele sind direkt wiederverwendbar und eignen sich hervorragend für Lernende und Forschende im Bereich Robotik und KI. Industrieexperten schätzen die Kombination aus stabilen, gut dokumentierten Bibliotheken wie Stable-Baselines3 und der Flexibilität von Gym, was die Entwicklung von RL-Anwendungen beschleunigt. Besonders SAC und PGPE gelten als vielversprechend für zukünftige Anwendungen in der autonomen Robotik, wo Robustheit und Anpassungsfähigkeit entscheidend sind. Die zunehmende Nutzung von Neuroevolution, wie in diesem Artikel gezeigt, deutet auf eine wachsende Diversifizierung der RL-Methoden hin – besonders in Szenarien mit komplexen oder unvorhersehbaren Umgebungen.