Trans4Trans: 시각 장애인이 실제 세계에서 안내되는 것을 돕기 위한 투명 객체 세그멘테이션을 위한 효율적인 Transformer

일반적인 전체 유리 외장 구조 및 투명 물체는 시각 장애가 있는 사람들의 이동을 방해하는 건축적 장벽이 되며, 예를 들어 유리 문 뒤에 있는 통로가 정확히 인식되고 반응되지 않는 한 접근이 불가능하다. 그러나 이러한 안전에 중요한 투명 물체의 세그멘테이션은 기존의 보조 기술에서 거의 다뤄지지 않는다. 이 문제를 해결하기 위해, 우리는 일반적이고 투명한 물체를 동시에 세그멘테이션할 수 있으며 실시간 내비게이션 기능을 제공하는 웨어러블 시스템을 구축하였다. 이 시스템은 새로운 이중 헤드 트랜스포머 모델인 Trans4Trans를 기반으로 하며, 보행 중인 사람들의 안전한 독립 보행을 지원한다. 특히, 본 연구에서 제안한 트랜스포머 파싱 모듈(Transformer Parsing Module, TPM)을 통해 생성된 두 개의 디코더는 서로 다른 데이터셋에서 효과적인 공동 학습이 가능하다. 또한, 대칭적인 트랜스포머 기반 인코더와 디코더로 구성된 효율적인 Trans4Trans 모델은 낮은 계산 자원 소모로 구현되며, 이동형 GPU에서도 쉽게 배포 가능하다. Trans4Trans 모델은 Stanford2D3D 및 Trans10K-v2 데이터셋의 테스트 세트에서 최신 기술 대비 뛰어난 성능을 보이며, 각각 mIoU 45.13%와 75.14%를 달성하였다. 실내 및 실외 환경에서 시행한 다양한 사전 테스트와 사용자 연구를 통해 본 보조 시스템의 사용성과 신뢰성이 광범위하게 검증되었다.