L'annotation pixel par pixel des séquences d'images peut être très fastidieuse pour les humains. La segmentation interactive d'objets vidéo vise à utiliser des méthodes automatiques pour accélérer ce processus et réduire la charge de travail des annotateurs. La plupart des approches contemporaines s'appuient sur des réseaux de neurones convolutifs profonds pour recueillir et traiter les informations provenant des annotations humaines tout au long de la vidéo. Cependant, ces réseaux contiennent des millions de paramètres et nécessitent d'énormes quantités de données d'entraînement étiquetées pour éviter le surapprentissage. De plus, la propagation des labels est généralement exécutée sous forme d'une série d'étapes d'inférence image par image, ce qui est difficile à paralléliser et donc chronophage. Dans cet article, nous présentons une approche basée sur les réseaux neuronaux graphiques pour résoudre le problème de la segmentation interactive d'objets vidéo. Notre réseau opère sur des graphes de superpixels, ce qui nous permet de réduire considérablement la dimensionalité du problème. Nous montrons que notre réseau, possédant seulement quelques milliers de paramètres, est capable d'atteindre des performances de pointe, tout en restant rapide lors de l'inférence et pouvant être entraîné rapidement avec très peu de données.