Nous abordons le problème de la détection des activités passées ainsi que de l'anticipation de celles qui auront lieu à l'avenir et de leur manière de se dérouler. Nous commençons par modéliser les relations riches entre les poses humaines et les objets (appelées affordances) à l'aide d'un champ aléatoire conditionnel (CRF). Toutefois, en raison de l'ambiguïté liée à la segmentation temporelle des sous-activités qui composent une activité, tant dans le passé que dans le futur, plusieurs structures de graphes sont possibles. Dans cet article, nous raisonnons sur ces différentes possibilités en explorant plusieurs structures de graphes envisageables. Nous obtenons ces structures à partir d'une approximation du graphe utilisant uniquement des caractéristiques additives, ce qui permet une programmation dynamique efficace. À partir de cette structure de graphe initiale, nous concevons ensuite des opérations permettant d’obtenir plusieurs autres structures de graphe probables. Nous démontrons que notre approche améliore de manière significative l’état de l’art pour la détection des activités passées ainsi que pour l’anticipation des activités futures, sur un jeu de données comprenant 120 vidéos d’activités collectées auprès de quatre sujets.