SGAligner: 3D 장면 그래프를 이용한 장면 정렬

최근 3D 장면 그래프 생성은 여러 체화된 AI 응용 프로그램에서 구조적이고 풍부한 방식으로 세계를 표현하기 위한 장면 표현 주제로 부상하고 있습니다. 이들 그래프가 내비게이션과 방 재배치 등의 하위 작업 해결에 점점 더 많이 사용됨에 따라, 환경의 3D 맵을 생성하는 데 이를 활용하고 재사용할 수 있을까요? 이는 에이전트 운영의 중요한 단계입니다. 우리는 중복이 전혀 없거나 부분적으로 있을 수 있으며 임의의 변화를 포함할 수 있는 3D 장면 그래프 쌍을 정렬하는 근본적인 문제에 초점을 맞춥니다. 우리는 이러한 야외 시나리오(즉, 알려지지 않은 중복 -- 만약 있다면 -- 및 환경의 변화)에 견고한 최초의 3D 장면 그래프 쌍 정렬 방법인 SGAligner를 제안합니다. 우리는 다중 모달성 지식 그래프에서 영감을 얻어 대조 학습을 사용하여 공동 다중 모달 임베딩 공간을 학습합니다. 우리는 3RScan 데이터셋에서 평가를 수행하고, 우리의 방법이 3D 장면 쌍 간의 변환을 추정하는 데 사용될 수 있음을 추가로 보여줍니다. 이러한 작업에 대한 벤치마크가 부족하기 때문에, 이 데이터셋에서 이를 생성하였습니다. 코드, 벤치마크 및 학습된 모델은 프로젝트 웹사이트에서 제공됩니다.