Wearablesystem erfasst Aktivitätsdaten für Robotertraining

Forschende des Shanghai AI Laboratory, der Zhejiang University und der Shanghai Jiao Tong University haben ein tragbares Aufnahmesystem vorgestellt, das 100 Stunden menschliche Aktivitätsdaten für das Training humanoider Roboter erfasst. Das EgoExplorer genannte Datenset verbindet egozentrische Videoaufnahmen mit rekonstruierter Ganzkörperbewegung, detaillierten Fingerbewegungen, taktilen Beobachtungen und schrittweisen Aufgabenbeschreibungen. Diese multimodale Erfassung soll Robotern ermöglichen, Fortbewegung, Körperhaltung und Objektkontakt koordiniert zu lernen. Die Hardware kombiniert eine am Kopf getragene GoPro-Kamera, fünf Positions- und Orientierungssensoren an Kopf, Händen und Knöcheln sowie sensorische Handschuhe zur Erfassung von Fingerbewegungen und taktilen Daten. Ergänzend entwickelten die Forschenden eine Verarbeitungspipeline namens Calibrate-Complete-Constrain, um aus den lückenhaft erfassten Körpersignalen stabile Bewegungsschätzungen abzuleiten. Dabei werden Sensormontage, Gelenkbewegungen und Körperform gleichzeitig berücksichtigt, um unrealistische oder verrauschte Rekonstruktionen zu reduzieren. In Vergleichsmessungen verringerte das Verfahren den Körperpositionsfehler gegenüber dem besten bekannten Ansatz um 71,9 Prozent und verbesserte Handstabilität sowie Kontaktschätzung. Erste multimodale Modellversuche zeigten, dass gemeinsames Lernen von Video, Bewegung und Berührung bessere Ergebnisse liefert als getrennte Verfahren. Für einen simulierten Unitree G1-Humanoiden trainierten die Forschenden einen Ganzkörpercontroller auf Basis zweier Demonstrationssequenzen; der Roboter führte die Bewegungen in der Simulation ohne Sturz aus. Eine Übertragung auf reale Roboter sowie belastbare Objekthandhabung in unbekannten Umgebungen wurde noch nicht demonstriert. EgoExplorer zielt dennoch darauf ab, die Lücke zwischen menschlichen Demonstrationen und robustem robotischem Handeln zu schließen.