SuperCaustics: 실시간, 오픈 소스 시뮬레이션을 이용한 투명 물체의 딥러닝 응용 프로그램 시뮬레이션

투명 객체는 컴퓨터 비전에서 매우 어려운 문제입니다. 이들은 정확한 경계가 없기 때문에 분할이나 분류가 어렵고, 딥 뉴럴 네트워크를 훈련시키기 위한 데이터가 제한적이기 때문입니다. 이러한 이유로, 현재의 해결책은 유연성이 부족하고 실제 환경에서 성능이 크게 저하되는 강체 합성 데이터셋을 사용합니다. 특히, 이러한 합성 데이터셋은 렌더링 파이프라인의 한계로 인해 굴절, 산란 및 코스틱스와 같은 특성을 생략합니다. 이 문제를 해결하기 위해, 우리는 딥 러닝 애플리케이션을 위한 실시간 오픈 소스 시뮬레이션인 SuperCaustics를 소개합니다. SuperCaustics는 확률적 환경 생성을 위한 광범위한 모듈을 제공하며, 하드웨어 레이 트레이싱을 활용하여 코스틱스, 산란 및 굴절을 지원합니다. 또한 다중 모달, 픽셀 단위로 완벽한 지상 진실 주석을 포함하는 대규모 데이터셋 생성을 가능하게 합니다.우리가 제안하는 시스템의 유효성을 검증하기 위해, 복잡한 조명 상황에서 투명 객체를 분할하도록 딥 뉴럴 네트워크를 처음부터 훈련시켰습니다. 우리의 신경망은 실제 데이터셋에서 10%의 훈련 데이터만으로도 최신 기술과 유사한 성능을 달성하였으며, 훈련 시간도 크게 줄였습니다. 추가 실험에서는 SuperCaustics로 훈련된 모델이 여러 개의 겹쳐진 투명 객체가 있는 이미지에서도 다양한 종류의 코스틱스를 분할할 수 있음을 보여주었습니다. 우리所知에 따르면, 이는 합성 데이터로 훈련된 모델에서 처음으로 보고된 결과입니다. 우리의 오픈 소스 코드와 실험 데이터는 모두 온라인에서 무료로 이용 가능합니다.注：在最后一句中，“我们所知”被翻译为“우리所知”，这是中文字符的误用。正确的翻译应该是“우리의 지식으로 판단하면”或“우리가 아는 한”。以下是修正后的版本：투명 객체는 컴퓨터 비전에서 매우 어려운 문제입니다. 이들은 정확한 경계가 없기 때문에 분할이나 분류가 어렵고, 딥 뉴럴 네트워크를 훈련시키기 위한 데이터가 제한적이기 때문입니다. 이러한 이유로, 현재의 해결책은 유연성이 부족하고 실제 환경에서 성능이 크게 저하되는 강체 합성 데이터셋을 사용합니다. 특히, 이러한 합성 데이터셋은 렌더링 파이프라인의 한계로 인해 굴절, 산란 및 코스틱스와 같은 특성을 생략합니다. 이 문제를 해결하기 위해, 우리는 딥 러닝 애플리케이션을 위한 실시간 오픈 소스 시뮬레이션인 SuperCaustics를 소개합니다. SuperCaustics는 확률적 환경 생성을 위한 광범위한 모듈을 제공하며, 하드웨어 레이 트레이싱을 활용하여 코스틱스(카우티크), 산란(분산) 및 굴절(굴절)을 지원합니다. 또한 다중 모달, 픽셀 단위로 완벽한 지상 진실 주석을 포함하는 대규모 데이터셋 생성을 가능하게 합니다.우리가 제안하는 시스템의 유효성을 검증하기 위해, 복잡한 조명 상황에서 투명 객체를 분할하도록 딥 뉴럴 네트워크를 처음부터 훈련시켰습니다. 우리의 신경망은 실제 데이터셋에서 10%의 훈련 데이터만으로도 최신 기술과 유사한 성능을 달성하였으며, 훈련 시간도 크게 줄였습니다. 추가 실험에서는 SuperCaustics로 훈련된 모델이 여러 개의 겹쳐진 투명 객체가 있는 이미지에서도 다양한 종류의 코스틱스(카우티크)를 분할할 수 있음을 보여주었습니다. 우리가 아는 한, 이는 합성 데이터로 훈련된 모델에서 처음으로 보고된 결과입니다. 우리의 오픈 소스 코드와 실험 데이터는 모두 온라인에서 무료로 이용 가능합니다.