ContactDB: Analyse und Vorhersage von Greifkontakten durch thermische Bildgebung

Das Greifen und Manipulieren von Objekten ist eine wichtige menschliche Fähigkeit. Da der Hand-Objekt-Kontakt für das Greifen grundlegend ist, kann dessen Erfassung zu wichtigen Erkenntnissen führen. Allerdings stellt die Beobachtung des Kontakts durch externe Sensoren aufgrund von Verdeckungen und der Komplexität der menschlichen Hand eine Herausforderung dar. Wir präsentieren ContactDB, einen neuen Datensatz von Kontaktkarten für Haushaltsgegenstände, der den reichhaltigen Hand-Objekt-Kontakt während des Greifens erfasst, ermöglicht durch die Verwendung einer Thermokamera. Die Teilnehmer unseres Studien griffen 3D-gedruckte Objekte mit einem funktionalen Absicht nach dem Greifen an. ContactDB umfasst 3750 3D-Netze aus 50 Haushaltsgegenständen, die mit Kontaktkarten texturiert sind, sowie 375.000 Frames synchronisierter RGB-D+Thermobilder. Nach bestem Wissen ist dies der erste große Datensatz, der detaillierte Kontaktkarten für menschliche Griffe aufzeichnet. Die Analyse dieser Daten zeigt den Einfluss funktionaler Absichten und Objektgrößen auf das Greifen, die Tendenz, „aktive Bereiche“ zu berühren oder zu vermeiden, sowie die hohe Häufigkeit von Handballen- und Nahfingerkontakten. Schließlich trainieren wir moderne Bildübersetzungsalgorithmen und 3D-Faltungsalgorithmen (3D convolution algorithms), um verschiedene Kontaktmuster aus der Objektform vorherzusagen. Daten, Code und Modelle sind unter https://contactdb.cc.gatech.edu verfügbar.