ISSAFE：イベントベースデータの融合による事故状況下でのセマンティックセグメンテーションの向上

交通参加者全員の安全確保は、知能運転車両を実用化に近づけるための前提条件である。補助システムは、通常状況下での高精度を達成するだけでなく、極端な状況に対しても頑健な認識能力を備えなければならない。しかし、訓練データセットにおいてほとんど見られないオブジェクト衝突、変形、転覆などの事故状況は、既存のセマンティックセグメンテーションモデルの性能を著しく低下させる。この問題に対処するため、本研究では事故状況におけるセマンティックセグメンテーションという、これまでほとんど注目されてこなかった課題を提示するとともに、DADA-segと呼ばれる事故データセットを提案する。このデータセットには、313の異なる事故シーケンスが含まれており、各シーケンスは40フレームから構成されている。これらの時間窓は、事故発生前および発生中の領域をカバーしている。また、ベンチマーク評価のため、11フレームごとに手動でアノテーションが施されている。さらに、本研究ではイベントベースのマルチモーダルセグメンテーションアーキテクチャ「ISSAFE」を提案する。実験結果から、イベントベースのデータが、事故における高速移動物体（衝突対象）の細粒度の運動情報を保持することで、悪条件下におけるセマンティックセグメンテーションの安定性を高める補完的情報を提供することが明らかになった。提案手法は、新たに提示された評価セットにおいて、mIoUで平均+8.2%の性能向上を達成し、10種類以上の最先端セグメンテーション手法を上回った。また、Cityscapes、KITTI-360、BDD、ApolloScapeといった複数のソースデータベース上で学習されたモデルに対しても、ISSAFEアーキテクチャが一貫して有効であることが実証された。