Kollaborative Videoobjektsegmentierung durch Vordergrund-Hintergrund-Integration

Dieses Papier untersucht die Prinzipien des Einbettungslernens zur Bewältigung der anspruchsvollen Aufgabe der semiautonomen Video-Objekt-Segmentierung. Im Gegensatz zu früheren Ansätzen, die sich ausschließlich auf das Einbettungslernen unter Verwendung von Vordergrundpixeln konzentrieren, betrachten wir den Hintergrund als gleichwertig und schlagen daher einen Ansatz vor, den wir Collaborative Video Object Segmentation by Foreground-Background Integration (CFBI) nennen. Unser CFBI verleiht implizit den Merkmaleinbettungen des Zielobjekts im Vordergrund und dessen entsprechenden Hintergrunds einen kontrastiven Charakter, was die Segmentierungsergebnisse entsprechend verbessert. Durch die Merkmaleinbettungen sowohl aus dem Vorder- als auch aus dem Hintergrund führt unser CFBI ein Abgleichsverfahren zwischen der Referenzsequenz und der vorhergesagten Sequenz auf Pixel- und Instanzebene durch, wodurch CFBI gegenüber verschiedenen Objektgrößen robust wird. Wir führen umfangreiche Experimente an drei gängigen Benchmarks durch, nämlich DAVIS 2016, DAVIS 2017 und YouTube-VOS. Unser CFBI erreicht Leistungen (J$F) von 89,4 %, 81,9 % und 81,4 % respektive, was alle anderen Stand-of-the-Art-Methoden übertrifft. Quellcode: https://github.com/z-x-yang/CFBI.