Schnelle Online-Objektverfolgung und -Segmentierung: Ein einheitlicher Ansatz

In dieser Arbeit wird dargestellt, wie sowohl die visuelle Objektverfolgung als auch die halbüberwachte Video-Objekt-Segmentierung in Echtzeit mit einem einzigen einfachen Ansatz durchgeführt werden können. Unsere Methode, die als SiamMask bezeichnet wird, verbessert das Offline-Trainingsverfahren beliebter vollkonvolutiver Siamese-Ansätze für die Objektverfolgung, indem sie den Verlust mit einer binären Segmentierungsaufgabe erweitert. Nach dem Training basiert SiamMask ausschließlich auf der Initialisierung mit einem einzelnen Bounding Box und arbeitet online, wobei es Klassenunabhängige Objektsegmentierungs-Masken und rotierte Bounding Boxes mit einer Geschwindigkeit von 55 Bildern pro Sekunde erzeugt. Trotz ihrer Einfachheit, Vielseitigkeit und hoher Geschwindigkeit ermöglicht unsere Strategie es uns, einen neuen Stand der Technik unter den Echtzeit-Verfolgern auf VOT-2018 zu etablieren und gleichzeitig eine wettbewerbsfähige Leistung und die beste Geschwindigkeit bei der halbüberwachten Video-Objekt-Segmentierung auf DAVIS-2016 und DAVIS-2017 zu demonstrieren. Die Projektwebsite ist http://www.robots.ox.ac.uk/~qwang/SiamMask.