ZeroFlow: Skalierbare Szenebewegung durch Destillation

Die Schätzung von Szene-Fluss ist die Aufgabe, das 3D-Bewegungsfeld zwischen zeitlich aufeinanderfolgenden Punktwolken zu beschreiben. Stand der Technik sind Methoden, die starke A-priori-Wissensannahmen und Optimierungstechniken zur Laufzeit verwenden, aber sie benötigen im Bereich von mehreren Sekunden, um vollständige Punktwolken zu verarbeiten. Dies macht sie für Echtzeitanwendungen wie die Objekterkennung in offenen Welten als Computer-Vision-Primitiven unbrauchbar. Vorwärtsgerichtete Methoden sind erheblich schneller und verarbeiten vollständige Punktwolken in der Größenordnung von zehn bis hundert Millisekunden. Sie erfordern jedoch kostspielige menschliche Überwachung. Um beide Einschränkungen zu überwinden, schlagen wir Scene Flow via Distillation vor, einen einfachen, skalierbaren Destillationsrahmen, der eine bezeichnungslose Optimierungsmethode verwendet, um Pseudobezeichnungen zu generieren, die ein vorwärtsgerichtetes Modell überwachen. Unsere Implementierung dieses Rahmens, ZeroFlow, erreicht den aktuellen Stand der Technik bei der Argoverse 2 Selbstüberwachte Szene-Fluss-Herausforderung und verwendet dabei keine menschlichen Bezeichnungen durch einfaches Training auf groß angelegten, vielfältigen unbezeichneten Daten. Bei Testläufen ist ZeroFlow gegenüber den besten bezeichnungslosen optimierungsbasierten Methoden bei vollständigen Punktwolken mehr als 1000-mal schneller (34 FPS im Vergleich zu 0,028 FPS) und das Training auf unbezeichneten Daten ist mehr als 1000-mal günstiger im Vergleich zu den Kosten für menschliche Annotation (394 USD im Vergleich zu ca. 750.000 USD). Um weitere Forschungen zu fördern, veröffentlichen wir unseren Code, die Gewichte des trainierten Modells und hochwertige Pseudobezeichnungen für die Argoverse 2- und Waymo Open-Datensätze unter https://vedder.io/zeroflow.html.