ننظر في مشكلة كشف الأنشطة الماضية، وكذلك التنبؤ بالنشاط الذي سيحدث في المستقبل وكيفية حدوثه. نبدأ بتمثيل العلاقات الغنية المكانية-الزمنية بين وضعيات الإنسان والأدوات (المعروفة باسم "الإمكانيات" أو affordances) باستخدام حقل منطق مشروط (CRF). ومع ذلك، نظرًا للغموض الناتج عن تقسيم الأنشطة الفرعية التي تشكل النشاط من حيث الزمن، سواء في الماضي أو في المستقبل، فإن هنالك أكثر من هيكل رسم بياني ممكن. في هذه الورقة، نعالج هذه الاحتمالات البديلة من خلال التفكير في عدة هيكل رسم بياني محتمل. نحصل على هذه الهياكل من خلال تقريب الرسم البياني باستخدام فقط ميزات جمعية، مما يسهل استخدام البرمجة الديناميكية بكفاءة. وباستخدام هذا الهيكل الابتدائي، نصمم حركات لاستخلاص عدة هياكل رسم بياني محتملة أخرى محتملة. ونُظهر أن نهجنا يُحسّن بشكل ملحوظ الأداء الحالي في كشف الأنشطة الماضية، وكذلك في التنبؤ بالأنشطة المستقبلية، على مجموعة بيانات مكوّنة من 120 فيديو لنشاطات تم جمعها من أربعة أشخاص.