La reconnaissance de l'interaction humaine est très importante dans de nombreuses applications. Un indice crucial pour reconnaître une interaction est les parties du corps interactives. Dans ce travail, nous proposons un nouveau réseau Interaction Graph Transformer (IGFormer) pour la reconnaissance d'interaction basée sur le squelette en modélisant les parties du corps interactives sous forme de graphes. Plus précisément, le IGFormer proposé construit des graphes d'interaction en fonction des corrélations sémantiques et spatiales entre les parties du corps interactives, et améliore la représentation de chaque individu en agrégant les informations des parties du corps interactives basées sur les graphes appris. De plus, nous proposons un module de partition sémantique pour transformer chaque séquence de squelette humain en une séquence Partie-du-Corps-Temps afin de mieux capturer les informations spatiales et temporelles de la séquence de squelette pour l'apprentissage des graphes. Des expériences approfondies sur trois jeux de données de référence montrent que notre modèle surpasse l'état de l'art avec une marge significative.