複数の車載カメラからの画像を鳥瞰図の意味的セグメンテーション画像に変換するSim2Real深層学習アプローチ

自動運転において、環境の正確な認識は不可欠です。単眼カメラを使用する場合、環境内の要素の距離推定が大きな課題となります。カメラ視点を鳥瞰図（BEV: Bird's Eye View）に変換することで、距離の推定がより容易になります。平坦な表面については、逆透視投影変換（IPM: Inverse Perspective Mapping）により画像を正確にBEVに変換できます。しかし、車両や脆弱な道路利用者などの三次元物体はこの変換によって歪みが生じ、センサからの相対位置を推定することが困難になります。本論文では、車載カメラから得られる複数の画像を基に、補正された360° BEV画像を得る手法について説明します。補正されたBEV画像は意味的なクラスに分割され、隠れた領域の予測も含まれています。ニューラルネットワークアプローチは手動でラベリングされたデータに依存せず、合成データセット上で訓練されるため、実世界データへの汎化性能が高いことが確認されています。意味的に分割された画像を入力として使用することで、シミュレーションデータと実世界データ間の現実ギャップを縮小し、当手法が実世界でも成功裏に適用できることを示すことができました。合成データ上で行われた詳細な実験により、当アプローチがIPMよりも優れていることが証明されました。ソースコードとデータセットは https://github.com/ika-rwth-aachen/Cam2BEV で公開されています。