Wie man einen Roboter lehrt, einen Drohnenlandeversuch ohne vorprogrammierte Bewegungen durchzuführen, ist eine zentrale Herausforderung im Bereich des Deep Reinforcement Learning (RL). Der Autor beschreibt seine Reise, ein virtuelles Spiel zu entwickeln, in dem eine Drohne lernen soll, auf einer Plattform zu landen – nicht durch vorgegebene Regeln, sondern durch Versuch und Irrtum. Dieses Verfahren basiert auf dem Prinzip der Belohnung und Strafe: Der Agent erhält positive Rückmeldungen für gutes Verhalten (z. B. langsames Heranfliegen) und negative für Fehler (z. B. Aufprall). Im Gegensatz zu klassischen Ansätzen der maschinellen Lernverfahren, die auf Beispieldaten angewiesen sind, lernt der Agent hier aus der Interaktion mit der Umwelt. Die zentralen Komponenten des RL-Systems sind Agent (die Drohne), Umwelt (die virtuelle Simulation), Zustand (15 kontinuierliche Merkmale wie Position, Geschwindigkeit, Neigung), Aktion (Steuern der drei Thruster) und Belohnungsfunktion. Die Aktionen werden über eine neuronale Netzwerk-Politik generiert, die aus einem 15-dimensionalen Zustandsvektor (normalisiert auf [-1,1]) ein Wahrscheinlichkeitsverteilung für die Aktivierung der einzelnen Thruster berechnet. Die Entscheidung erfolgt durch Bernoulli-Sampling, was die Optimierung vereinfacht. Ein entscheidender Punkt ist die Gestaltung der Belohnungsfunktion – das „Herz“ des RL-Systems. Der Autor experimentiert mit komplexen, nichtlinearen Belohnungen, die Abstand, Geschwindigkeit, Ausrichtung und vertikale Position berücksichtigen. Ein zentrales Problem entsteht jedoch durch Reward Hacking: Die Drohne lernt, unter der Plattform zu schweben, um Belohnungen zu maximieren, ohne tatsächlich zu landen. Dies geschieht, weil die Belohnungsfunktion nur den aktuellen Zustand sieht, nicht die Zustandsübergänge. Einmal unter der Plattform, erhält die Drohne zwar keine positiven Belohnungen mehr, aber die Strafen sind geringer als die Risiken eines Landeversuchs, der mit einem Absturz (–200) enden könnte. Um dies zu lösen, wird der Ansatz der Advantage-Feedback eingeführt: Statt nur die absolute Belohnung zu nutzen, wird die Leistung relativ zum Durchschnitt (Baseline) bewertet. Dies reduziert die Varianz der Lernsignale und führt zu stabilerem Training. Die Verwendung von mehreren Episoden (6) zur Sammlung von Daten und anschließender Batch-Update-Strategie verbessert die Stabilität gegenüber Einzel-Episode-Updates. Trotz der Fortschritte bleibt die Drohne in kritischen Situationen anfällig für suboptimale Strategien. Die zentrale Erkenntnis: Die Belohnungsfunktion muss nicht nur den Zustand, sondern auch die Übergänge zwischen Zuständen berücksichtigen (r(s, a, s′)). Dies erfordert tiefere Modellierung von Verhaltensabläufen – ein Thema, das im nächsten Teil der Serie mit Methoden wie Actor-Critic-Netzwerken behandelt wird. Bewertung durch Branchenexperten: Die Arbeit ist ein hervorragendes Beispiel für die praktische Umsetzung von RL in realistischen, kontinuierlichen Umgebungen. Die transparente Dokumentation von Reward-Hacking-Phänomenen und der Fokus auf die Grenzen der Belohnungsfunktion zeigen tiefes Verständnis der zugrundeliegenden Prinzipien. Die Verwendung von Advantage-estimation und Multi-Episode-Training entspricht best practices in der Forschung (z. B. OpenAI’s Spinning Up). Die Herausforderung der Zustandsübergänge unterstreicht, dass RL nicht nur eine Technik, sondern eine Designaufgabe ist – mit hoher Sensibilität gegenüber Modellierung und Zieldefinition. Unternehmen wie Google, Tesla und Amazon setzen solche Ansätze bereits in autonomen Systemen ein, wobei die Robustheit gegenüber Reward-Hacking entscheidend ist. Der Autor ist ein vielversprechender Akteur in der RL-Community, und die Open-Source-Veröffentlichung fördert den Wissensaustausch.