Roboter lernen, sich selbst zu verstehen.

Ein neues System, das Roboter lehrt, ihre eigenen Körper zu verstehen, wurde an der MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL) entwickelt. Im Labor zeigt ein weicher Roboterarm, wie er mit einem einzigen Kamera-System seine Finger zum Greifen eines Objekts bewegt. Das Besondere daran ist, dass der Roboter keine eingebauten Sensoren oder komplexe Modellierungen benötigt, sondern allein durch visuelle Daten lernt, wie seine Bewegungen funktionieren. Dieses System, Neural Jacobian Fields (NJF), ermöglicht Roboter eine Art körperliche Selbstwahrnehmung, indem es aus visuellen Beobachtungen lernt, wie sich verschiedene Teile des Roboters auf Befehle hin verhalten. Eine Studie über die Forschung wurde in der Zeitschrift Nature am 25. Juni veröffentlicht. „Dieses Werk zeigt einen Wechsel von der Programmierung von Robotern zur Erziehung von Robotern“, sagt Sizhe Lester Li, Doktorand an der MIT und Hauptforscher der Studie. „Heute erfordern viele Roboter-Aufgaben umfangreiche Ingenieurarbeit und Programmierung. In Zukunft wollen wir einem Roboter zeigen, was er tun soll, und ihn dann selbst lernen lassen, wie er es erreicht.“ Das System basiert auf einer neuralen Netzwerkarchitektur, die die räumliche Geometrie eines Roboters und seine Reaktion auf Steuerbefehle erfasst. Es baut auf der Technik der Neural Radiance Fields (NeRF) auf, die 3D-Szenen aus Bildern rekonstruiert. NJF erweitert diesen Ansatz, indem es nicht nur die Form, sondern auch einen Jacobian-Feld-Modellierungsprozess lernt, der vorhersagt, wie sich Punkte des Roboters aufgrund von Motorbefehlen bewegen. Die Forscher trainieren das Modell, indem der Roboter zufällige Bewegungen ausführt und Kameras diese aufzeichnen. Keine menschliche Aufsicht oder Kenntnisse über die Struktur des Roboters sind erforderlich. Das System lernt allein aus der Beobachtung, wie Kontrollsignale zu Bewegungen führen. Nach dem Training benötigt der Roboter nur eine einzelne Kamera, um in Echtzeit kontrolliert zu werden, mit einer Geschwindigkeit von etwa 12 Hertz. Dies ermöglicht es ihm, sich selbst zu beobachten, zu planen und reaktiv zu handeln. In Experimenten zeigte sich, dass NJF auf verschiedenen Robotertypen funktioniert, einschließlich eines weichen pneumatischen Handsystems, eines harten Allegro-Hands, eines 3D-gedruckten Arm-Systems und eines rotierenden Plattform-Systems ohne eingebaute Sensoren. In allen Fällen lernte das System die Form und die Reaktion des Roboters auf Steuerbefehle allein durch visuelle Daten. Die Forscher sehen große Potenziale für NJF in der Zukunft. Roboter mit dieser Technik könnten landwirtschaftliche Aufgaben mit einer Genauigkeit von Zentimeter-Niveau ausführen, auf Baustellen arbeiten, ohne komplexe Sensoren zu benötigen, oder sich in dynamischen Umgebungen bewegen, wo traditionelle Methoden versagen. „Roboter heute fühlen sich oft unzugänglich an, aufgrund teurer Sensoren und komplexer Programmierung. Unser Ziel mit Neural Jacobian Fields ist es, die Hürden zu senken, und Roboter kostengünstiger, anpassbarer und zugänglicher zu machen“, sagt Vincent Sitzmann, Senior-Autor und MIT-Professor. „Vision ist ein zuverlässiger und widerstandsfähiger Sensor.“ Daniela Rus, Mitautorin und Professorin an der MIT, betont: „Vision allein kann die Hinweise liefern, die für Lokalisierung und Steuerung notwendig sind – ohne GPS, externe Tracking-Systeme oder komplexe Sensoren. Dies öffnet die Tür zu robustem, anpassbarem Verhalten in unstrukturierten Umgebungen.“ Obwohl das Training von NJF derzeit mehrere Kameras erfordert und für jeden Roboter neu durchgeführt werden muss, arbeiten die Forscher an einer einfacheren Version. In Zukunft könnten Hobbyisten die Bewegungen eines Roboters mit ihrem Handy aufnehmen und diese Daten nutzen, um ein Steuerungsmodell zu erstellen, ohne vorherige Kenntnisse oder spezielle Ausrüstung. Zwar kann NJF noch nicht auf verschiedene Robotertypen übertragen werden und fehlt die Kraft- oder Tastsensorik, die für Aufgaben mit direktem Kontakt wichtig ist, so arbeiten die Forscher an Verbesserungen, um diese Grenzen zu überwinden. Das System könnte die Zukunft der Robotik verändern, indem es eine intuitive Selbstwahrnehmung ermöglicht, ähnlich wie bei Menschen. Evaluation: Das System Neural Jacobian Fields markiert einen bedeutenden Schritt in der Entwicklung selbstlernender Roboter. Es reduziiert den Bedarf an teuren Sensoren und komplexer Programmierung, was die Roboterentwicklung für breitere Anwendergruppen zugänglicher macht. Die MIT-Forschergruppe, bestehend aus Sizhe Lester Li, Vincent Sitzmann und Daniela Rus, ist führend in der Forschung zu autonomen Systemen. Die Technologie hat das Potenzial, in der Industrie und im Alltag breit eingesetzt zu werden, vorausgesetzt, die Herausforderungen der Generalisierbarkeit und der Tastsensorik werden gelöst.