2ヶ月前

SuperCaustics: 深層学習アプリケーション向けのリアルタイム、オープンソースの透明物体シミュレーション

Mehdi Mousavi; Rolando Estrada
SuperCaustics: 深層学習アプリケーション向けのリアルタイム、オープンソースの透明物体シミュレーション
要約

透明物体はコンピュータビジョンにおいて非常に難しい問題を呈しています。それらの境界が明確でないため、セグメンテーションや分類が困難であり、深層ニューラルネットワークの学習に使用できるデータも限られています。そのため、現在の解決策では、柔軟性に欠ける堅固な合成データセットが用いられており、実世界のシナリオに展開すると性能が大幅に低下する傾向があります。特に、これらの合成データセットはレンダリングパイプラインの制約により屈折、分散、カウスティクスなどの特徴を省略しています。この問題に対処するために、私たちは「SuperCaustics」を提案します。これは透明物体を対象としたリアルタイムかつオープンソースのシミュレーションシステムで、深層学習アプリケーション向けに設計されています。「SuperCaustics」には確率的な環境生成モジュールが豊富に含まれており、ハードウェアによるレイトレーシングを使用してカウスティクス、分散、屈折をサポートします。また、多様なモードでピクセル単位で完全な正解ラベルを持つ大規模なデータセットの生成を可能とします。提案システムの有効性を検証するために、我々は困難な照明状況下での透明物体のセグメンテーションを行うために深層ニューラルネットワークをゼロから学習させました。その結果、当該ネットワークは実世界データセットにおいて最新技術と同等の性能を達成し、学習データ量は10%のみで且つ学習時間も大幅に短縮されました。さらに実験では、「SuperCaustics」で学習したモデルが複数の重なり合う透明物体がある画像でも異なる種類のカウスティクスをセグメンテーションできることを示しました。我々が知る限りでは、これは合成データ上で学習したモデルによる初めての成果です。当社のオープンソースコードおよび実験データはオンラインで自由に利用可能です。