MRFP: シミュレーションから実世界への一般化可能な意味分割を学習するための多解像度特徴摂動

深層ニューラルネットワークは、ソースドメインにおける意味的シーン理解タスクで優れた性能を示していますが、訓練中にスタイルの多様性が欠けているため、単一のソースドメインデータのみを使用して未見のターゲットドメインでの性能向上は依然として困難な課題となっています。大規模なスタイル多様性を持つ実世界データセットを取得することは煩雑かつ費用がかさむプロセスであるため、シミュレーションデータの生成は現実世界データの代わりに実現可能な代替手段です。しかし、シミュレーションデータと実世界データ間の大きなドメイン固有の不整合は、意味的セグメンテーションにおいて一般的な問題となっています。本研究では、この問題を緩和するために、新しいマルチレゾリューション特徴摂動（MultiResolution Feature Perturbation: MRFP）技術を提案します。この技術は、ドメイン固有の細かい特徴をランダム化し、粗い特徴のスタイルを摂動させることで機能します。都市シーンセグメンテーションデータセットでの実験結果は明確に示しており、スタイル情報の摂動だけでなく、細かい特徴成分の摂動が重要であり、意味的セグメンテーションモデルにとって領域不変性のある堅牢な特徴マップを学習する上で不可欠であることが確認されました。MRFPはシンプルかつ計算効率が高く、追加の学習可能なパラメータや目的関数を持たない転送可能なモジュールであり、最先端の深層ニューラルネットワークがシミュレーションからリアルへの意味的セグメンテーションにおいて堅牢な領域不変性のある特徴を学習するのに役立ちます。