La reconnaissance d'activités de groupe vise à comprendre l'activité réalisée par un groupe de personnes. Pour y parvenir, la modélisation des interactions spatio-temporelles complexes constitue la clé. Les méthodes précédentes se limitent à raisonner sur un graphe prédéfini, ce qui ignore le contexte d'interaction intrinsèquement spécifique à chaque individu. En outre, elles utilisent des schémas d'inférence coûteux en calcul et sujets au problème de sur-lissage. Dans cet article, nous proposons le Dynamic Inference Network (DIN), permettant d'atteindre une inférence spatio-temporelle spécifique à chaque personne. Le modèle se compose de deux modules : le module de Relation Dynamique (DR) et le module de Marche Dynamique (DW). Nous proposons tout d'abord d'initialiser des champs d'interaction sur un graphe spatio-temporel primaire. Dans chaque champ d'interaction, nous appliquons conjointement le module DR pour prédire la matrice de relations et le module DW pour prédire les décalages de marche dynamique, formant ainsi un graphe d'interaction spécifique à chaque individu. En mettant à jour les caractéristiques sur ce graphe spécifique, chaque personne peut bénéficier d'un champ d'interaction de niveau global, initialement local. Les expériences démontrent l'efficacité de chacun des deux modules. De plus, DIN obtient une amélioration significative par rapport aux méthodes de pointe précédentes sur deux jeux de données populaires, dans des conditions identiques, tout en nécessitant une surcharge computationnelle bien moindre pour le module d'inférence.