Der HandNet-Datensatz enthält Tiefenkarten der nicht starr deformierten Hände von 10 Teilnehmern vor einer RealSense RGB-D-Kamera. Die Anmerkungen werden mithilfe einer magnetischen Anmerkungstechnik erstellt. Die Handmitte und die fünf Fingerspitzen haben eine 6D-Pose (d. h. die Position und Ausrichtung jeder Fingerspitze). Der Datensatz enthält insgesamt 214.971 Tiefenkarten, darunter 202.198 Trainingssätze, 10.000 Testsätze und 2.773 Validierungssätze.