Nous présentons la première étude complète de segmentation de polypes vidéo (VPS) dans l'ère de l'apprentissage profond. Au fil des années, les progrès en VPS n'ont pas été faciles en raison du manque d'annotations de segmentation détaillées à grande échelle. Pour résoudre ce problème, nous introduisons d'abord un ensemble de données VPS annoté image par image de haute qualité, nommé SUN-SEG, qui contient 158 690 images de coloscopie provenant de la célèbre base de données SUN. Nous fournissons des annotations supplémentaires de divers types, à savoir : attributs, masques d'objet, contours, griffonnages et polygones. Deuxièmement, nous concevons une ligne de base simple mais efficace, baptisée PNS+, composée d'un encodeur global, d'un encodeur local et de blocs d'attention auto-normalisée (NS). Les encodeurs global et local reçoivent une image pivot et plusieurs images successives pour extraire des représentations spatiales-temporelles à long terme et à court terme, qui sont ensuite progressivement mises à jour par deux blocs NS. Des expériences approfondies montrent que PNS+ atteint les meilleures performances et une vitesse d'inférence en temps réel (170 images par seconde), ce qui en fait une solution prometteuse pour la tâche VPS. Troisièmement, nous évaluons exhaustivement 13 modèles représentatifs de segmentation de polypes/objets sur notre ensemble de données SUN-SEG et fournissons des comparaisons basées sur les attributs. Enfin, nous discutons plusieurs problèmes ouverts et suggérons des orientations possibles pour la communauté VPS.