Robotic Pushing ist ein Videovorhersagedatensatz für Interaktionen in der realen Welt. Um Interaktionen in der realen Welt zu untersuchen, enthält der Datensatz 59.000 Roboterinteraktionen, die Schubsbewegungen beinhalten. In diesem Datensatz ist die genaue Vorhersage des Videos basierend auf der nächsten Aktion des Roboters gleichbedeutend mit dem Erlernen einer „visuellen Vorstellung“ der Zukunft basierend auf verschiedenen Handlungsabläufen.