Der Datensatz wurde 2022 von Google-Forschern vorgeschlagen und gleichzeitig das Robotics Transformer-Modell (RT-1) eingeführt, ein Multitasking-Modell, das erhebliche Verbesserungen bei der Zero-Shot-Generalisierung auf neue Aufgaben, Umgebungen und Objekte erzielt hat und eine hervorragende Skalierbarkeit und vortrainierte Modelleigenschaften aufweist.

RT-1 RobotAction-Datensatz Ein umfangreicher realer Robotik-Datensatz zum Trainieren des RT-1-Modells. Die Forscher verwendeten 13 EDR-Roboterarme, die jeweils mit einem Arm mit 7 Freiheitsgraden, einem Zwei-Finger-Greifer und einer mobilen Basis ausgestattet waren, und sammelten über 17 Monate hinweg 130.000 Clips mit einer Gesamtgröße von 111,06 GB. Jeder Clip wurde mit einer Textbeschreibung der vom Roboter ausgeführten Anweisungen versehen. Zu den im Datensatz behandelten anspruchsvollen Fertigkeiten zählen das Aufheben und Platzieren von Objekten, das Öffnen und Schließen von Schubladen, das Herausnehmen und Einlegen von Objekten in Schubladen, das Aufrichten langer und dünner Objekte, das Umstoßen von Objekten, das Herausziehen von Servietten und das Öffnen von Gläsern. Insgesamt werden damit mehr als 700 Aufgaben unter Verwendung einer Vielzahl unterschiedlicher Objekte abgedeckt.