TransCG: 투명 객체 깊이 완성 및 그립 기준선을 위한 대규모 실제 세계 데이터셋

투명 물체는 일상 생활에서 흔히 볼 수 있으며 자동화된 생산 라인에서 자주 처리됩니다. 이러한 물체에 대한 견고한 비전 기반 로봇 그립 및 조작은 자동화에 유익할 것입니다. 그러나 현재의 대부분 그립 알고리즘은 깊이 이미지에 크게 의존하기 때문에, 일반적인 깊이 센서가 투명 물체의 정확한 깊이 정보를 생성하는 데 실패하는 경우가 많습니다. 이는 빛의 반사와 굴절로 인해 발생합니다.본 연구에서는 이 문제를 해결하기 위해 대규모 실제 환경 데이터셋을 제공하여 투명 물체의 깊이 완성 작업을 지원합니다. 이 데이터셋은 130개의 다양한 장면에서 촬영된 57,715장의 RGB-D 이미지를 포함하며, 우리의 데이터셋은 다양한이고 복잡한 장면에서 지상 진실 깊이, 표면 법선 벡터, 투명 마스크를 제공하는 첫 번째 대규모 실제 환경 데이터셋입니다.다른 영역 간 실험 결과는 우리의 데이터셋이 더 일반적이며 모델의 보다 우수한 일반화 능력을 가능하게 함을 보여줍니다. 또한, 우리는 RGB 이미지와 부정확한 깊이 맵을 입력으로 받아 정교한 깊이 맵을 출력하는 엔드-투-엔드 깊이 완성 네트워크를 제안합니다. 실험 결과는 우리 방법론이 이전 연구보다 우월한 효능, 효율성 및 견고성을 보임을 입증하며, 제한된 하드웨어 리소스에서도 고해상도 이미지를 처리할 수 있음을 확인하였습니다.실제 로봇 실험에서는 우리 방법론이 새로운 투명 물체를 견고하게 그릴 수 있음을 보여주었습니다. 전체 데이터셋과 우리의 방법론은 www.graspnet.net/transcg에서 공개적으로 이용 가능합니다.