Open-Source-Benchmark testet KI-Agenten im Roboterbau

Forschende der Harvard University und der Georgia Tech haben RLE-Bench vorgestellt, eine Open-Source-Benchmark zur systematischen Bewertung von KI-Coding-Agents in der Robotik. Unter der Leitung von Na Li an der Harvard John A. Paulson School of Engineering and Applied Sciences sowie Bo Dai an der Georgia Tech School of Computational Science and Engineering wurde das Framework entwickelt, um zu prüfen, wie gut allgemeine KI-Systeme die komplexen, interdisziplinären Aufgaben des physischen Roboterengineerings bewältigen können. Das Team um Haitong Ma, Chenxiao Gao und Rushi Qiang hat RLE-Bench als standardisiertes Testumfeld konzipiert, das über reine Kontrollrichtlinien hinausgeht. Die aktuelle Version umfasst vierzigacht Aufgaben, die in simulierten, aber physikalisch fundierten Umgebungen ablaufen. Sie prüfen die Fähigkeit der KI, Steuerungsalgorithmen, Wahrnehmungs- und Schätzverfahren, Richtlinienentwicklung sowie mechanische Entwurfsprozesse zu implementieren. Ein zentrales Erkenntniskriterium ist die physikalische Plausibilität: Ein von der KI generierter Roboterentwurf kann rechnerisch funktional erscheinen, scheitert jedoch oft an realen physikalischen Randbedingungen wie Masseverteilung, Drehmoment, Stabilität oder Hardwarebeschränkungen. Ein Beispiel dafür ist die Entwicklung eines mobilen Manipulatorbasissystems, das bei der Auslegung bestimmter Greifaufgaben aufgrund unzureichender Gewichtsbilanzierung umkippt. RLE-Bench schließt eine bisherige Lücke in der Evaluierung von KI-Systemen. Während viele bestehende Benchmarks primär lernbasierte Steuerungsstrategien testen, erfasst das neue Framework den gesamten Engineering-Lebenszyklus eines Roboters. Die offenen Aufgaben ermöglichen es der wissenschaftlichen Community, verschiedene KI-Modelle unter identischen Bedingungen zu vergleichen, Fähigkeitslücken zu identifizieren und die Integration von Software mit der physischen Welt zu verbessern. Die Initiatoren betrachten die Erstveröffentlichung als Fundament für ein sich entwickelndes Community-Standardwerk. In künftigen Versionen sollen zusätzliche Engineering-Herausforderungen wie Hardware-Neuentwicklung, Systemintegration, Debugging, Sicherheitsprotokolle und Echtzeit-Deployment einfließen. Durch die Open-Source-Strategie wird langfristigen Forschungsvorhaben eine gemeinsame Messtabelle bereitgestellt, die den Transfer von KI-Coding-Agenten in die autonome Robotik praxisnah vorantreibt.