Normalisierten Objekt-Koordinatenraum für die Kategorieebenen-Schätzung von 6D-Objekt-Pose und -Größe

Das Ziel dieser Arbeit ist die Schätzung der 6D-Position und -Dimensionen von unbekannten Objektinstanzen in einem RGB-D-Bild. Im Gegensatz zu "Instanz-Level"-Aufgaben zur 6D-Positionsschätzung geht unser Problem davon aus, dass während des Trainings oder Testens keine genauen CAD-Modelle der Objekte verfügbar sind. Um verschiedene und unbekannte Objektinstanzen innerhalb einer Kategorie zu behandeln, führen wir einen Normalisierten Objektkoordinatenraum (NOCS) ein – eine gemeinsame kanonische Darstellung für alle möglichen Objektinstanzen innerhalb einer Kategorie. Unser regionsbasierter neuronales Netzwerk wird dann trainiert, um direkt die Korrespondenz zwischen den beobachteten Pixeln und dieser gemeinsamen Objektdarstellung (NOCS) sowie andere Objektinformationen wie Klassenbezeichnung und Instanzmaske zu inferieren. Diese Vorhersagen können mit der Tiefenkarte kombiniert werden, um die metrische 6D-Position und -Dimensionen mehrerer Objekte in einer unstrukturierten Szene gemeinsam zu schätzen. Um unser Netzwerk zu trainieren, präsentieren wir eine neue kontextbewusste Technik zur Generierung großer Mengen vollständig annotierter gemischter Realitätsdaten. Um unser Modell weiter zu verbessern und seine Leistung auf realen Daten zu evaluieren, stellen wir auch einen vollständig annotierten Datensatz aus der realen Welt bereit, der große Umgebungs- und Instanzvariationen aufweist. Ausführliche Experimente zeigen, dass das vorgeschlagene Verfahren in der Lage ist, die Position und Größe von unbekannten Objektinstanzen in realen Umgebungen robust zu schätzen und gleichzeitig den Stand der Technik bei Standardbenchmarks für 6D-Positionsschätzung erreicht.