複数の異種データセットを用いた街路シーンのセマンティックセグメンテーションにおける畳み込みネットワークの訓練

私たちは、ピクセルごとの意味分割に使用できる階層分類器を備えた畳み込みネットワークを提案します。このネットワークは、複数の異種データセットで訓練でき、それらの意味階層を利用することができます。私たちのネットワークは、インテリジェントビークル領域から3つの異なるデータセット（Cityscapes、GTSDB、Mapillary Vistas）を同時に訓練する最初のものであり、異なる意味レベルの詳細度、クラスの不均衡、および異なるアノテーションタイプ（すなわち、密集したピクセルごとのラベルと疎なバウンディングボックスラベル）を処理できます。我々は階層的なアプローチを評価するために、フラットな非階層分類器と比較を行い、Cityscapesクラスでは平均ピクセル精度が13.0%向上し、Vistasクラスでは2.4%向上し、GTSDBクラスでは32.3%向上することを示しました。当社の実装はGPU上で108クラスに対して520x706解像度で17 fpsの推論速度を達成しています。