Erkundung objektorientierter zeitlicher Modellierung für effiziente Multi-View 3D-Objekterkennung

In dieser Arbeit schlagen wir einen Modellierungsrahmen für die langfristige Sequenzanalyse vor, der StreamPETR genannt wird und für die multiview-3D-Objekterkennung entwickelt wurde. Aufbauend auf dem dünnen Abfragekonzept der PETR-Reihe entwickeln wir systematisch ein objektzentriertes zeitliches Mechanismus. Das Modell arbeitet in Echtzeit, wobei langfristige historische Informationen durch Objektanfragen von Bild zu Bild übertragen werden. Darüber hinaus führen wir eine bewegungsbewusste Schichtnormalisierung ein, um die Bewegung der Objekte zu modellieren. StreamPETR erreicht erhebliche Leistungsverbesserungen mit nur geringfügigen Rechenaufwand im Vergleich zum Baseline-Modell für einzelne Bilder. Auf dem Standardbenchmark nuScenes ist es das erste online-Multiview-Verfahren, das vergleichbare Ergebnisse (67,6 % NDS & 65,3 % AMOTA) wie lidarbasierte Methoden erzielt. Die leichte Version erreicht 45,0 % mAP und 31,7 FPS und übertreffen damit den aktuellen Stand der Technik (SOLOFusion) um 2,3 % mAP und ist 1,8-mal schneller in Bezug auf FPS. Der Quellcode ist unter https://github.com/exiawsh/StreamPETR.git verfügbar.