تعلم كيفية التفاعل مع الأشياء هو خطوة مهمة نحو الذكاء البصري المادي، ولكن التقنيات الحالية تعاني من متطلبات إشراف أو استشعار ثقيلة. نقترح نهجًا لتعلم نقاط التفاعل بين الإنسان والأشياء "النقاط الساخنة" مباشرة من الفيديو. بدلاً من التعامل مع القدرات على أنها مهمة تقسيم صوري مشرف عليها يدويًا، فإن نهجنا يتعلم عن التفاعلات بمراقبة فيديوهات للسلوك البشري الحقيقي وتوقع الأفعال المتاحة. عند تقديم صورة أو فيديو جديد، يستنتج نموذجنا خريطة نقاط ساخنة فضائية تشير إلى كيفية تلاعب الكائن في تفاعل محتمل - حتى لو كان الكائن غير حركي حاليًا. من خلال النتائج التي تم الحصول عليها باستخدام الفيديو من وجهة النظر الأولى والثالثة، نظهر قيمة ربط القدرات بالتفاعلات الحقيقية بين الإنسان والأشياء. ليس فقط أن نقاط التفاعل لدينا المشرف عليها بشكل ضعيف تنافس طرق القدرات المشرف عليها بشكل قوي، بل يمكنها أيضًا توقع التفاعل مع فئات أشياء جديدة.