Die Schätzung von Hand-Objekt-Manipulationen ist entscheidend für die Interpretation und Nachahmung menschlicher Aktionen. Frühere Arbeiten haben erhebliche Fortschritte bei der Rekonstruktion von Handhaltungen und Objektformen getan, jedoch jeweils unabhängig voneinander. Die Rekonstruktion von Händen und Objekten während der Manipulation ist jedoch eine viel anspruchsvollere Aufgabe aufgrund erheblicher Verdeckungen sowohl der Hand als auch des Objekts. Obwohl diese Manipulationen Herausforderungen mit sich bringen, können sie das Problem auch vereinfachen, da die Physik des Kontakts den Raum gültiger Hand-Objekt-Konfigurationen einschränkt. Zum Beispiel sollten während der Manipulation die Hand und das Objekt in Kontakt sein, aber nicht ineinander eindringen. In dieser Arbeit regularisieren wir die gemeinsame Rekonstruktion von Händen und Objekten durch Manipulationsbedingungen. Wir präsentieren ein end-to-end lernfähiges Modell, das einen neuartigen Kontaktabstand (contact loss) nutzt, der physikalisch plausiblen Hand-Objekt-Anordnungen den Vorzug gibt. Unser Ansatz verbessert die Greifqualitätsmetriken im Vergleich zu Baseline-Methoden, wobei RGB-Bilder als Eingabe verwendet werden. Um das Modell zu trainieren und zu evaluieren, schlagen wir außerdem einen neuen groß angelegten synthetischen Datensatz vor: ObMan, der Hand-Objekt-Manipulationen enthält. Wir zeigen die Übertragbarkeit von mit ObMan trainierten Modellen auf reale Daten.