HO steht für Hand and Object Poses und ist ein 3D-Bilddatensatz von Hand-Objekt-Interaktionen mit Anmerkungen. Der Datensatz enthält 66.034 Trainingsbilder (aus 55 Sequenzen) und 11.524 Testbilder (aus 13 Sequenzen). Die Sequenzen wurden sowohl mit mehreren Kameras als auch mit einer Einzelkamera aufgenommen und enthalten 10 Subjekte und 10 Objekte aus dem YCB-Datensatz. Die Anmerkungen werden mithilfe eines Optimierungsalgorithmus automatisch generiert. Die Gestenannotationen des Testsatzes bleiben erhalten. Die Genauigkeit der Algorithmen im Testsatz kann mithilfe von Standardmetriken aus der CodaLab-Challenge bewertet werden (siehe Projektseite). Anmerkungen zur Objektpose für die Test- und Trainingssätze sind öffentlich verfügbar.

Der Datensatz kann verwendet werden, um Algorithmen zur Vorhersage der Handhaltung bei stark verdeckten Objekten auf der Grundlage eines einzelnen RGB-Bildansatzes zu entwickeln und kann auf die Vorhersage von Handhaltungsbildern für Objekte verallgemeinert werden, die nicht im Datensatz enthalten sind.