Zu einem end-to-end Rahmenwerk für flussgeführtes Video-Inpainting

Der optische Fluss, der Bewegungsinformationen zwischen Bildern erfasst, wird in aktuellen Methoden zur Videosatzung durch die Fortpflanzung von Pixeln entlang seiner Trajektorien genutzt. Allerdings werden die manuell gestalteten flussbasierten Prozesse in diesen Methoden getrennt angewendet, um den gesamten Satzungsprozess zu bilden. Dadurch sind diese Methoden weniger effizient und hängen stark von den Zwischenergebnissen früherer Stufen ab. In dieser Arbeit schlagen wir ein End-to-End-Framework für flussgeleitete Videosatzung (E$^2$FGVI) vor, das durch sorgfältig konzipierte drei trainierbare Module besteht: Flussvervollständigung, Merkmalsfortpflanzung und Inhaltsgenerierung. Diese drei Module entsprechen den drei Stufen früherer flussbasierter Methoden, können jedoch gemeinsam optimiert werden, was zu einem effizienteren und wirksameren Satzungsprozess führt. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode sowohl qualitativ als auch quantitativ die besten bisher bekannten Methoden übertrifft und vielversprechende Effizienz aufweist. Der Code ist unter https://github.com/MCG-NKU/E2FGVI verfügbar.