Les événements dans les vidéos naturelles émergent généralement des interactions spatio-temporelles entre les acteurs et les objets et impliquent plusieurs activités concomitantes et classes d'objets. Pour capturer ce contexte visuel et sémantique riche, nous proposons l'utilisation de deux graphes : (1) un graphe visuel spatio-temporel attribué dont les nœuds correspondent aux acteurs et aux objets et dont les arêtes codent différents types d'interactions, et (2) un graphe symbolique qui modélise les relations sémantiques. Nous proposons également un réseau neuronal de graphe pour affiner les représentations des acteurs, des objets et de leurs interactions sur le graphe hybride résultant. Notre modèle dépasse les approches actuelles qui supposent que les nœuds et les arêtes sont du même type, opèrent sur des graphes avec des poids d'arêtes fixes et ne utilisent pas de graphe symbolique. Plus précisément, notre cadre : a) dispose de fonctions de message basées sur l'attention spécialisées pour différents types de nœuds et d'arêtes ; b) utilise des caractéristiques visuelles d'arête ; c) intègre la preuve visuelle avec les relations d'étiquettes ; et d) effectue une raisonnement global dans l'espace sémantique. Des expériences sur des tâches difficiles de compréhension vidéo, telles que la localisation temporelle des actions sur le jeu de données Charades, montrent que la méthode proposée conduit à des performances de pointe.