ClearGrasp: 투명 물체의 조작을 위한 3D 형태 추정

투명 물체는 일상 생활에서 흔히 볼 수 있는 부분이지만, 이들은 표준 3D 센서가 정확한 깊이 추정을 생성하는 데 있어 매우 어려운 독특한 시각적 특성을 가지고 있습니다. 많은 경우에, 이들 물체는 그 뒤에 있는 표면의 잡음이나 왜곡된 근사치로 나타납니다. 이러한 문제를 해결하기 위해, 우리는 단일 RGB-D 이미지에서 로봇 조작을 위한 투명 물체의 정확한 3D 기하학을 추정하는 딥러닝 접근 방식인 ClearGrasp를 제시합니다. 단일 RGB-D 이미지가 주어지면, ClearGrasp는 깊은 합성곱 신경망을 사용하여 표면 법선, 투명 표면 마스크, 그리고 가림 경계를 추론합니다. 그런 다음 이 출력들을 사용하여 장면 내 모든 투명 표면의 초기 깊이 추정 값을 개선합니다. ClearGrasp를 학습하고 테스트하기 위해, 우리는 50,000개 이상의 RGB-D 이미지를 포함하는 대규모 합성 데이터셋과 286개의 실제 세계 테스트 벤치마크를 구성했습니다. 이 벤치마크에는 투명 물체와 그들의 참조 기하학이 포함되어 있습니다. 실험 결과는 ClearGrasp가 단안 깊이 추정 기준보다 크게 우수하며, 실제 세계 이미지와 새로운 물체에 일반화할 수 있음을 보여줍니다. 또한 ClearGrasp가 즉석에서 활용되어 투명 물체에 대한 그립 알고리즘의 성능을 개선할 수 있음을 입증하였습니다. 코드, 데이터 및 벤치마크는 공개될 예정입니다. 보충 자료는 프로젝트 웹사이트에서 확인 가능합니다: https://sites.google.com/view/cleargrasp