Das Verstehen und Interagieren mit alltäglichen physikalischen Szenen erfordert umfangreiches Wissen über die Struktur der Welt, das entweder implizit in einer Bewertungsfunktion oder einer Richtlinienfunktion oder explizit in einem Übergangsmodell repräsentiert ist. In dieser Arbeit stellen wir eine neue Klasse lernfähiger Modelle vor – basierend auf Graphnetzwerken – die einen induktiven Bias für objekt- und relationzentrierte Darstellungen komplexer, dynamischer Systeme implementieren. Unsere Ergebnisse zeigen, dass unser Ansatz als Vorhersagemodell präzise Prognosen sowohl aus realen als auch aus simulierten Daten unterstützt und überraschend starke und effiziente Generalisierungskapazitäten aufweist, wobei wir acht verschiedene physikalische Systeme parametrisch und strukturell variiert haben. Wir fanden außerdem heraus, dass unser Inferenzmodell Systemidentifikation durchführen kann. Unsere Modelle sind differenzierbar und unterstützen Online-Planung durch gradientenbasierte Trajektorienoptimierung sowie Offline-Richtlinienoptimierung. Unser Rahmenwerk bietet neue Möglichkeiten zur Nutzung und Ausnutzung umfangreichen Wissens über die Welt und macht einen wichtigen Schritt hin zu Maschinen mit menschenähnlicheren Darstellungen der Welt.