Ray3D: Strahlbasierte 3D-Pose-Schätzung für monokulare absolute 3D-Lokalisierung

In dieser Arbeit schlagen wir einen neuen monokularen Strahl-basierten 3D-Ansatz (Ray3D) für die absolute Pose-Schätzung von Menschen vor, der mit einer kalibrierten Kamera verwendet wird. Die genaue und übertragbare Schätzung der absoluten 3D-Pose aus monokularer 2D-Pose-Eingabe ist ein schlecht gestelltes Problem. Um dieser Herausforderung zu begegnen, konvertieren wir die Eingabe vom Bildpixelraum in normierte 3D-Strahlen. Diese Konvertierung macht unseren Ansatz robust gegenüber Änderungen der internen Kameraparameter. Um die Variationen der externen Kameraparameter im Freien zu bewältigen, nimmt Ray3D die externen Kameraparameter explizit als Eingabe auf und modelliert gemeinsam die Verteilung zwischen den 3D-Posestrahlen und den externen Kameraparametern. Diese neuartige Netzwerkarchitektur ist der Schlüssel zur hervorragenden Übertragbarkeit des Ray3D-Ansatzes. Um ein umfassendes Verständnis dafür zu gewinnen, wie Variationen der internen und externen Kameraparameter die Genauigkeit der absoluten 3D-Schlüsselpunktelokalisierung beeinflussen, führen wir eingehende systematische Experimente auf drei Einzelperson-3D-Benchmarks sowie einem synthetischen Benchmark durch. Diese Experimente zeigen, dass unsere Methode erheblich besser abschneidet als bestehende state-of-the-art Modelle. Unser Code und das synthetische Datensatz sind unter https://github.com/YxZhxn/Ray3D verfügbar.请注意，这里“state-of-the-art”是一个常用的英文术语，在德语中通常也直接使用，特别是在科技文献中。如果你希望将其翻译为德语，可以使用“Stand der Technik”，但“state-of-the-art”更为常见。