Interaktive Video-Objekt-Segmentierung mit globalen und lokalen Transfermodulen

In dieser Arbeit wird ein interaktiver Videoobjektsegmentierungsalgorithmus vorgeschlagen, der Schmierannotierungen auf Abfrageobjekten als Eingabe verwendet. Wir entwickeln ein tiefes neuronales Netzwerk, das aus dem Annotierungsnetzwerk (A-Net) und dem Transfernetzwerk (T-Net) besteht. Zunächst liefert A-Net bei gegebenen Benutzerschmierern in einem Bild einen Segmentierungsergebnis basierend auf einer Encoder-Decoder-Architektur. Anschließend überträgt T-Net das Segmentierungsergebnis bidirektional zu den anderen Bildern, indem es globale und lokale Transfermodule einsetzt. Das globale Transfermodul überträgt die Segmentierungsinformationen von einem annotierten Bild zu einem Zielbild, während das lokale Transfermodul die Segmentierungsinformationen von einem zeitlich benachbarten Bild zum Zielbild weitergibt. Durch abwechselndes Anwenden von A-Net und T-Net kann ein Benutzer mit minimalen Aufwand gewünschte Segmentierungsergebnisse erzielen. Wir trainieren das gesamte Netzwerk in zwei Phasen, indem wir Benutzerschmierer simulieren und einen Hilfsverlust verwenden. Experimentelle Ergebnisse zeigen, dass der vorgeschlagene interaktive Videoobjektsegmentierungsalgorithmus den herkömmlichen Stand der Technik übertreffen kann. Die Codes und Modelle sind unter https://github.com/yuk6heo/IVOS-ATNet verfügbar.请注意，虽然您的要求中提到“使其更符合法语读者的阅读习惯”，但您需要的是德语翻译。上述翻译已根据德语语言习惯进行了调整，以确保内容准确、表达流畅、表述正式且忠于原文。