تحتوي مجموعة بيانات التفاعل البشري UT-Interaction على مقاطع فيديو لستة أنواع من التفاعلات بين البشر (أفعال مستمرة): المصافحة، والإشارة، والمعانقة، والدفع، والركل، واللكم. توفر مجموعة البيانات تسميات الحقيقة الأساسية لهذه الإجراءات التفاعلية، بما في ذلك الفاصل الزمني والمربع المحدد.

يحتوي UT-Interaction على إجمالي 20 تسلسل فيديو بطول حوالي دقيقة واحدة. يحتوي كل مقطع فيديو على تنفيذ إجراء تفاعلي واحد على الأقل، وفي المتوسط يتضمن كل مقطع فيديو 8 تنفيذات إجراء. وظهر في الفيديو عدد من المشاركين، بأكثر من 15 زيًا. يستخدم الفيديو دقة 720*480، و30 إطارًا في الثانية، ويبلغ ارتفاع الشخصيات في الفيديو حوالي 200 بكسل.