ContactPose: Ein Datensatz von Greifbewegungen mit Objektkontakt und Handpose

Das Greifen ist für Menschen natürlich. Es beinhaltet jedoch komplexe Handkonfigurationen und weichteilige Verformungen, die zu komplizierten Kontaktbereichen zwischen der Hand und dem Gegenstand führen können. Das Verständnis und Modellieren dieses Kontakts könnte potenziell Handmodelle, AR/VR-Erlebnisse und robotisches Greifen verbessern. Derzeit fehlen uns jedoch Datensätze von Hand-Gegenstands-Kontakten, die mit anderen Datenmodalitäten gepaart sind, was für die Entwicklung und Bewertung von Kontaktmodellierungstechniken entscheidend ist. Wir stellen ContactPose vor, den ersten Datensatz von Hand-Gegenstands-Kontakten, der mit Hand- und Gegenstandspose sowie RGB-D-Bildern gekoppelt ist. ContactPose umfasst 2306 einzigartige Griffe an 25 Haushaltsgegenständen, die von 50 Teilnehmern mit 2 funktionalen Absichten ausgeführt wurden, sowie mehr als 2,9 Mio. RGB-D-Griffbilder. Die Analyse der ContactPose-Daten enthüllt interessante Beziehungen zwischen Handpose und Kontakt. Wir nutzen diese Daten, um verschiedene Datenrepräsentationen, Heuristiken aus der Literatur und Lernmethoden für das Kontaktmodellieren streng zu evaluieren. Die Daten, der Code und die trainierten Modelle sind unter https://contactpose.cc.gatech.edu verfügbar.