점유 네트워크

Occupancy Network는 학습 기반 3D 재구성 방법에 대한 새로운 표현입니다. 이 개념은 2018년 논문 "점유 네트워크: 함수 공간에서의 3D 재구성 학습", CVPR 2019에서 승인되었습니다.

Occupancy Network의 핵심 아이디어는 3D 공간에서 점유 확률을 예측하여 간단한 3D 공간 표현을 얻는 것입니다. 이 접근 방식은 기존의 3D 객체 감지에 의존하는 대신, 세상을 작은 큐브인 폭셀로 나누고 각 폭셀이 비어 있는지 또는 점유되어 있는지 예측합니다. 이를 통해 Occupancy Network는 100 FPS 이상으로 실행되고, 메모리 효율성이 매우 뛰어나며, 움직이는 객체와 정적인 객체를 모두 이해할 수 있습니다.

테슬라는 CVPR 2022와 테슬라 AI Day에서 Occupancy Network라는 개념을 소개하고, 이를 인식 시스템에 적용하는 방법을 시연했습니다. 테슬라의 Occupancy Network 모델 구조는 여러 관점에서 이미지의 특징을 추출한 다음, 주의 모듈과 변환기를 통해 점유를 예측하고, 마지막으로 3D 공간 점유 볼륨과 점유 흐름을 출력하는 과정을 포함합니다.

또한, Occupancy Network는 NeRF(Neural Radiance Field) 기술과 결합되어 Occupancy Network에서 생성된 3D 볼륨과 NeRF에서 생성된 3D 재구성 장면을 비교하여 예측된 3D 장면이 실제 장면과 일치하는지 검증합니다. 이 방법은 폐색, 이미지 흐림, 비, 안개와 같은 복잡한 환경 문제를 해결하는 데 도움이 됩니다.

자율주행 분야에서 Occupancy Network는 인지 작업을 처리하는 데 새로운 관점을 제공하며, 특히 긴 꼬리 장애물과 알려지지 않은 범주의 물체를 처리할 때 고유한 장점을 보여줍니다. 기술이 계속 발전함에 따라 Occupancy Network는 자율주행 인식 시스템의 필수적인 부분이 될 것으로 예상됩니다.