La segmentation vidéo non supervisée joue un rôle important dans une variété d'applications allant de l'identification d'objets à la compression. Cependant, jusqu'à présent, les mouvements rapides, le flou de mouvement et les occultations posent des défis significatifs. Pour relever ces défis en ce qui concerne la segmentation vidéo non supervisée, nous développons une nouvelle technique d'estimation de la saillance ainsi qu'un nouveau graphe de voisinage basé sur le flux optique et les indices de bord. Notre approche permet d'obtenir des estimations initiales du premier-plan et du fond nettement meilleures, ainsi que leur diffusion robuste et précise au fil du temps. Nous évaluons notre algorithme proposé sur les jeux de données complexes DAVIS, SegTrack v2 et FBMS-59. Malgré l'utilisation d'un détecteur d'arêtes standard formé sur 200 images seulement, notre méthode atteint des résultats de pointe, surpassant les méthodes basées sur l'apprentissage profond dans le cadre non supervisé. Nous montrons même des résultats compétitifs comparables aux méthodes basées sur l'apprentissage profond dans le cadre semi-supervisé sur le jeu de données DAVIS.