2DPASS: 2D プライアス補助下的LiDARポイントクラウドのセマンティックセグメンテーション 注意：「下的」は一般的には使用されませんが、原文の「Assisted」を直訳するとこのような表現になります。より自然な表現にするために、「下的」を削除して以下のようにすることも可能です。 2DPASS: 2D プライアス補助 LiDAR ポイントクラウドのセマンティックセグメンテーション

カメラとLiDARセンサが自律走行に使用される補完的な情報を捕捉するため、多モーダルデータ融合を用いたセマンティックセグメンテーションアルゴリズムの開発に多くの努力が払われてきました。しかし、融合ベースのアプローチは、訓練および推論において厳密な点対ピクセルマッピングを持つLiDARポイントクラウドとカメラ画像のペアデータを入力として必要とするため、実際のシナリオでの応用が著しく制限されています。そこで本研究では、豊かな外観を持つ2D画像を十分に活用してポイントクラウドの表現学習を強化する一般的な訓練スキームである2D Priors Assisted Semantic Segmentation（2DPASS）を提案します。実際には、補助モーダル融合とマルチスケール融合から単一の知識蒸留（MSFSKD）を利用することで、2DPASSは多モーダルデータからより豊富なセマンティック情報と構造情報を取得し、これらをオンラインで純粋な3Dネットワークに蒸留します。その結果、2DPASSを搭載した当方のベースラインモデルは、ポイントクラウドのみを使用しても大幅な性能向上を示しました。特に、SemanticKITTIとNuScenesという大規模ベンチマークで最先端の成果を達成しており、SemanticKITTIの単一スキャン競技および複数スキャン競技においてともにトップ1の結果を得ています。