DeeperLab: 単一ショット画像パーサー

私たちは、全体画像解析のための単一ショット、ボトムアップアプローチを提案します。全体画像解析は、パノプティックセグメンテーションとも呼ばれ、セマンティックセグメンテーション（「stuff」クラス）とインスタンスセグメンテーション（「thing」クラス）のタスクを一般化し、画像内の各ピクセルにセマンティックラベルとインスタンスラベルを割り当てます。最近の全体画像解析手法では、通常、構成要素となるセマンティックセグメンテーションとインスタンスセグメンテーションのタスクのために独立したモジュールが使用され、推論には複数回のパスが必要です。これに対して、提案するDeeperLab画像パーサーは、これらのタスクを単一ショットで共同的に処理する完全な畳み込みアプローチを採用しており、より簡素化されたシステムにより高速処理が可能となります。定量評価のために、インスタンスベースのパノプティック品質（Panoptic Quality: PQ）指標と、提案する領域ベースのパーシングカバリング（Parsing Covering: PC）指標を使用します。後者の方が、「stuff」クラスや大きなオブジェクトインスタンスにおける画像解析品質をより正確に捉えます。実験結果については、困難なMapillary Vistasデータセット上で報告します。当社の単一モデルは31.95%（検証用）、31.6% PQ（テスト用）、55.26% PC（検証用）を達成し、GPU上での処理速度は3フレーム毎秒（fps）または精度を犠牲にして近実時間速度（22.6 fps）となっています。