이중모달 세그넷: 로봇 집게를 위한 이벤트와 RGB 프레임 융합 인스턴스 세그멘테이션

동적 조건 하에서 로봇의 그립핑을 위한 물체 세그멘테이션은 가려짐, 저조도 환경, 운동 왜곡 및 물체 크기 변동과 같은 다양한 도전 과제에 직면해 있다. 이러한 문제를 해결하기 위해, 이벤트 기반 데이터와 RGB 프레임 데이터라는 두 가지 유형의 시각 신호를 융합하는 딥러닝 네트워크를 제안한다. 제안된 이중 모달 세그멘테이션 네트워크(Bimodal SegNet)는 각각의 신호 입력을 위한 두 개의 독립적인 인코더와, 아트로스 컨볼루션을 활용한 공간 피라미드 풀링을 갖는다. 인코더는 다양한 해상도에서 연결된 특징을 풀링함으로써 � бог rich한 맥락 정보를 추출하고, 디코더는 명확한 물체 경계를 복원한다. 제안된 방법의 평가는 이벤트 기반 세그멘테이션(ESD) 데이터셋에서 가려짐, 왜곡, 밝기 변화, 궤적 변동 및 크기 변동 등 다섯 가지 독특한 이미지 품질 저하 상황을 대상으로 수행되었다. 평가 결과, 평균 교차율(Intersection over Union) 및 픽셀 정확도 기준으로 기존 최첨단 기법 대비 6~10%의 세그멘테이션 정확도 향상이 확인되었다. 모델 코드는 다음 URL에서 공개되어 있다: https://github.com/sanket0707/Bimodal-SegNet.git