2달 전

RepVF: 다중 작업 3D 인식을 위한 통합 벡터 필드 표현

Li, Chunliang ; Han, Wencheng ; Yin, Junbo ; Zhao, Sanyuan ; Shen, Jianbing
RepVF: 다중 작업 3D 인식을 위한 통합 벡터 필드 표현
초록

동일한 시공간 장면에서 여러 자율 주행 3D 인식 작업을 동시 처리하는 것은 특히 전통적인 다중 작업 학습 접근 방식을 사용할 때 계산 효율성과 작업 간 특징 경쟁으로 인해 큰 도전 과제를 제시합니다. 본 논문에서는 이러한 문제들을 해결하기 위해 3D 객체 검출 및 3D 차선 검출 등 다양한 인식 작업의 표현을 단일 프레임워크 내에서 조화롭게 통합하는 새로운 통합 표현인 RepVF를 제안합니다. RepVF는 벡터 필드를 통해 장면 내 다른 대상들의 구조를 특징화하여, 계산 중복성을 크게 줄이고 특징 경쟁을 완화하는 단일 헤드 다중 작업 학습 모델을 가능하게 합니다. RepVF를 기반으로 하여, 우리는 RFTR라는 네트워크를 소개합니다. 이 네트워크는 쿼리의 계층적 구조를 활용하여 작업 간 및 작업 내 관계를 암시적으로 모델링함으로써, 다른 작업들 사이의 고유한 연결성을 활용하도록 설계되었습니다. 이 접근 방식은 작업별 헤드와 매개변수의 필요성을 제거하고, 전통적인 다중 작업 학습 패러다임에 내재된 충돌을 근본적으로 줄입니다. 우리는 OpenLane 데이터셋과 Waymo 오픈 데이터셋의 라벨을 결합하여 우리의 접근 방식을 검증하였습니다. 본 연구는 자율 주행에서 다중 작업 인식의 효율성과 효과성에 있어 중요한 발전을 제시하며, 여러 3D 인식 작업을 동기적이고 병렬적으로 처리하는 새로운 관점을 제공합니다. 코드는 다음과 같은 URL에서 제공될 예정입니다: https://github.com/jbji/RepVF