多モーダルセンサストリーム（カメラ、LiDAR、レーダー測定など）の融合は、自律走行車の物体検出において重要な役割を果たしており、これらの入力に基づいて意思決定が行われます。既存の手法は良好な環境条件下で冗長情報を活用していますが、悪天候ではセンサストリームが非対称的に歪むため機能しません。これらの稀な「エッジケース」シナリオは利用可能なデータセットに含まれておらず、既存の融合アーキテクチャもそれらに対応するように設計されていません。この課題に対処するために、私たちは北欧で10,000km以上の走行データから得られた新しい多モーダルデータセットを提示します。このデータセットには10万件のラベルが付いており、LiDAR、カメラ、レーダー、およびゲート付きNIRセンサー（Gated Near-Infrared Sensor）の悪天候下での測定結果を初めて大規模に収録しています。しかし、極端な天候は稀であるため、このデータセットだけでは学習を促進することはできません。そこで、全非対称歪みをカバーする大量のラベル付き訓練データなしで堅牢な融合を実現する深層融合ネットワークを提案します。プロポーザルレベルでの融合から離れることで、測定エントロピーによって駆動される単一ショットモデルを提案し、特徴量を適応的に融合します。私たちは清浄なデータで学習した方法について広範な検証データセット上で評価を行いました。コードとデータは以下のURLから入手可能です: https://github.com/princeton-computational-imaging/SeeingThroughFog.