2달 전

실시간 연합 의미 분할 및 깊이 추정을 위한 비대칭 주석 사용

Vladimir Nekrasov; Thanuja Dharmasiri; Andrew Spek; Tom Drummond; Chunhua Shen; Ian Reid
실시간 연합 의미 분할 및 깊이 추정을 위한 비대칭 주석 사용
초록

로봇 공학에서 딥 러닝 모델을 감각 정보 추출기로 배포하는 것은 일반적인 GPU 카드를 사용하더라도 어려운 작업일 수 있습니다. 본 연구에서는 이와 관련된 세 가지 주요 문제를 다루며, 첫째, 단일 모델이 동시에 여러 작업을 수행하도록 적응시키는 문제(본 연구에서는 장면의 기하학적 및 의미론적 이해를 위한 깊이 추정과 의미 분할을 고려합니다), 둘째, 이를 실시간으로 수행하는 문제, 셋째, 각 모달리티당 주석 수가 불균등한 비대칭 데이터셋을 사용하는 문제입니다. 첫 번째와 두 번째 문제를 해결하기 위해 최근 제안된 실시간 의미 분할 네트워크를 적응시켜 부동 소수점 연산의 수를 더욱 줄이는 변경 사항을 도입했습니다. 세 번째 문제에 대해서는 강력한 '교사' 네트워크에 접근할 수 있다는 가정 하에 하드 지식 증류(Hard Knowledge Distillation) 기반의 간단한 솔루션을 채택했습니다. 우리는 시스템이 쉽게 확장되어 더 많은 작업과 더 많은 데이터셋을 동시에 처리할 수 있으며, 단일 모델로 실내 및 실외에서 깊이 추정과 분할을 모두 수행할 수 있음을 보여주었습니다. 정량적으로는 640x480 입력에서 한 번의 순방향 패스가 13ms와 6.5 GFLOPs만 소비하면서 현재 최신 접근법과 동등하거나 그보다 우수한 결과를 달성하였습니다. 이러한 효율성 덕분에 우리의 네트워크의 원시 예측값을 장밀도 3D 의미 재구성을 위한 SemanticFusion 프레임워크에 직접 통합할 수 있습니다.

실시간 연합 의미 분할 및 깊이 추정을 위한 비대칭 주석 사용 | 최신 연구 논문 | HyperAI초신경