Lernen von optischem Fluss aus wenigen Matches

Zustandsbestimmende neuronale Netzwerkmodelle zur Schätzung von optischem Fluss erfordern eine dichte Korrelationsvolumen-Darstellung in hohen Auflösungen, um die pro-Pixel-Verschiebung präzise zu repräsentieren. Obwohl das dichte Korrelationsvolumen für eine genaue Schätzung informativ ist, behindern seine hohen Rechenanforderungen und Speicheranforderungen die effiziente Trainings- und Bereitstellung der Modelle. In diesem Artikel zeigen wir, dass die Darstellung mittels dichtem Korrelationsvolumen überflüssig ist und eine genaue Flussabschätzung bereits mit nur einem Bruchteil der Elemente erreicht werden kann. Ausgehend von dieser Beobachtung schlagen wir eine alternative Verschiebungsrepräsentation vor, die als „Sparse Correlation Volume“ (sparses Korrelationsvolumen) bezeichnet wird. Es wird direkt durch Berechnung der k nächsten Nachbarn in einer Merkmalskarte für jeden Merkmalsvektor der anderen Merkmalskarte erzeugt und in einer sparsen Datenstruktur gespeichert. Experimente zeigen, dass unsere Methode den Rechenaufwand und den Speicherverbrauch erheblich reduziert, während gleichzeitig eine hohe Genauigkeit im Vergleich zu früheren Ansätzen mit dichten Korrelationsvolumen beibehalten wird. Der Quellcode ist unter https://github.com/zacjiang/scv verfügbar.