要約
本稿では、畳み込みニューラルネットワークと非対称な多路カット問題ソルバーから構成される、完全に微分可能なアーキテクチャを、同時的な意味的セグメンテーション（いわゆるパンタピックセグメンテーション）に適用する手法を提案する。後者のソルバーは、組合せ最適化問題を解くことで、意味的ラベルと境界予測を洗練された形で統合し、パンタピックラベルを生成する。本手法の定式化により、最適化問題を逆伝播することで、パンタピック品質評価指標の滑らかな代理関数を直接最大化することが可能となる。実験評価の結果、CityscapesおよびCOCOデータセットにおいて、従来手法と比較して最適化問題を逆伝播することで性能が向上することが示された。全体として、本手法は、大規模で現実世界の課題において、深層学習と組合せ最適化を連携させることの有効性を示しており、このようなアーキテクチャの訓練における利点と洞察を明らかにしている。