HyperAIHyperAI

Command Palette

Search for a command to run...

EpO-Net: Ausnutzung geometrischer Einschränkungen dichter Trajektorien zur Bewegungssalienz

Muhammad Faisal Ijaz Akhter Mohsen Ali Richard Hartley

Zusammenfassung

Die bestehenden Ansätze zur hervorstechenden Bewegungssegmentierung sind nicht in der Lage, geometrische Hinweise explizit zu lernen, und erzeugen häufig falsche Detektionen bei auffälligen statischen Objekten. Wir nutzen mehransichtige geometrische Einschränkungen, um diese Schwächen zu überwinden. Um nicht-starre Hintergründe wie ein Meer zu behandeln, schlagen wir zudem einen robusten Fusionsmechanismus zwischen bewegungs- und erscheinungsbasierten Merkmalen vor. Wir identifizieren dichte Trajektorien, die jedes Pixel im Video abdecken, und führen trajectorienbasierte Epipolardistanzen ein, um Hintergrund- und Vordergrundregionen zu unterscheiden. Diese Epipolardistanzen sind datenunabhängig und können leicht berechnet werden, sobald einige Korrespondenzen zwischen Merkmalen in den Bildern vorliegen. Wir zeigen, dass durch die Kombination von Epipolardistanzen mit optischem Fluss ein leistungsfähiges Bewegungsnetzwerk gelernt werden kann. Um dem Netzwerk die Nutzung beider Merkmale zu ermöglichen, schlagen wir eine einfache Mechanik vor, die wir Input-Dropout nennen. Im Vergleich zu rein bewegungsbasierten Netzwerken erreichen wir auf dem DAVIS-2016-Datensatz eine Verbesserung der mittleren IoU-Score um 5,2 % gegenüber der vorherigen State-of-the-Art-Methode. Durch die robuste Fusion unseres Bewegungsnetzwerks mit einem Erscheinungsnetzwerk mittels des Input-Dropout-Mechanismus übertrifft unsere Methode zudem die bisherigen Ansätze auf den Datensätzen DAVIS-2016, DAVIS-2017 und SegTrackv2.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp