내부 환경을 위한 효율적인 다중 작업 RGB-D 장면 분석

모바일 에이전트가 다양한 환경에서 작동하기 위해서는 의미론적 장면 이해가 필수적이다. 기존의 의미론적 세그멘테이션 기술은 이미 많은 정보를 제공하고 있지만, 개별 객체에 대한 세부 정보 및 전반적인 장면 정보는 여전히 부족하며, 이는 많은 실세계 응용에 필요하다. 그러나 여러 작업을 별도로 해결하는 것은 비용이 크며, 모바일 플랫폼의 제한된 계산 능력과 배터리 수명을 고려할 때 실시간 처리는 불가능하다. 본 논문에서는 RGB-D 장면 분석을 위한 효율적인 다중 작업 접근법(EMSANet)을 제안한다. 이 방법은 단일 신경망을 사용하여 의미론적 세그멘테이션과 인스턴스 세그멘테이션(팬오틱 세그멘테이션), 인스턴스 방향 추정, 장면 분류를 동시에 수행한다. 우리는 모바일 플랫폼에서 실시간으로 모든 작업을 수행할 수 있음을 보이며, 성능 저하 없이도 가능하다. 반면, 각 작업은 서로 보완되어 성능 향상을 얻을 수 있다. 본 다중 작업 접근법의 평가를 위해, 일반적인 RGB-D 실내 데이터셋인 NYUv2와 SUNRGB-D의 레이블을 인스턴스 세그멘테이션 및 방향 추정을 위한 것으로 확장하였다. 우리가 아는 바에 따르면, 본 연구는 NYUv2와 SUNRGB-D에서 실내 장면 분석을 위한 이러한 종합적인 다중 작업 환경에서 최초로 결과를 제시하는 연구이다.