Der UT-Interaction-Datensatz zur menschlichen Interaktion enthält Videos von sechs Arten der Mensch-zu-Mensch-Interaktion (kontinuierliche Aktionen): Händeschütteln, Zeigen, Umarmen, Schubsen, Treten und Schlagen. Der Datensatz stellt die Ground-Truth-Beschriftungen dieser Interaktionsaktionen bereit, einschließlich Zeitintervall und Begrenzungsrahmen.

UT-Interaction verfügt insgesamt über 20 Videosequenzen mit einer Länge von ca. 1 Minute. Jedes Video enthält mindestens eine interaktive Aktionsausführung, und im Durchschnitt enthält jedes Video 8 Aktionsausführungen. Im Video traten mehrere Teilnehmer mit über 15 Kostümen auf. Das Video verwendet eine Auflösung von 720 x 480, 30 fps und die Höhe der Zeichen im Video beträgt etwa 200 Pixel.