透明容器内の材料、液体、物体の3D形状、マスク、および特性を、TransProteus CGIデータセットを用いて予測する

本研究では、画像の取得元やカメラパラメータに関する事前知識が不要な単一画像から、透明容器内の物質、液体、物体の3次元構造、マスク、および物理的特性を予測するためのデータセットおよび手法である「TransProteus」を提案する。透明容器内の物質を操作することは、多くの分野において不可欠であり、視覚情報に大きく依存している。本研究では、5万枚の液体および固体物体を含む透明容器を描いた、新たな手続き的生成（procedurally generated）データセットを提供する。画像のアノテーションには、3次元モデル、物質特性（色・透明度・粗さなど）、および容器とその内容物のセグメンテーションマスクが含まれる。データセットの合成（CGI）部分は、13,000種類の異なるオブジェクト、500種類の異なる環境（HDRI）、1,450種類のマテリアルテクスチャ（PBR）を用いて、シミュレートされた液体と手続き的に生成された容器と組み合わせて作成された。さらに、容器およびその内容物の深度マップを備えた104枚の実世界画像も提供する。本研究では、カメラに依存しない手法を提案し、画像からXYZマップとして3次元モデルを予測する。これにより、画像の取得元に関する事前知識なしに、各ピクセルごとにXYZ座標を持つマップとして3次元モデルを予測可能となる。学習損失の計算には、絶対的なXYZ座標ではなく、3次元モデル内の点対間の距離を用いる。これにより、損失関数が並進不変性（translation invariant）を持つようになる。このアプローチを用いて、単一画像から容器およびその内容物の3次元モデルを予測する。最終的に、単一画像から容器の内容物および表面の物質特性を予測するニューラルネットワークの有効性を実証する。