軽量かつリアルタイムの線分検出へ向けた研究

以前の深層学習に基づく線分検出（Line Segment Detection: LSD）手法は、モデルサイズが非常に大きく、線予測に高い計算コストを必要とするという問題がありました。これにより、計算リソースに制約のある環境でのリアルタイム推論が困難でした。本論文では、リソース制約環境向けのリアルタイムかつ軽量な線分検出器であるMobile LSD (M-LSD)を提案します。当手法では、バックボーンネットワークの最小化と、従来の方法で見られる典型的な多段階処理の削除により、極めて効率的なLSDアーキテクチャを設計しました。軽量なネットワークでも競合する性能を維持するため、新しい訓練スキームを提示します：線分セグメント（Segments of Line segment: SoL）拡張、マッチング損失および幾何学的損失です。SoL拡張は、線分を複数の部分に分割し、これらの部分を使用して訓練プロセス中に補助的な線データを提供します。さらに、マッチング損失と幾何学的損失はモデルが追加の幾何学的情報を捉えることを可能にします。TP-LSD-Lite（これまで最も優れたリアルタイムLSD手法）と比較して、当モデル（M-LSD-tiny）はモデルサイズの2.5%で同等の性能を達成し、GPU上の推論速度は130.5%向上しています。また、最新のAndroidおよびiPhoneモバイルデバイス上では、それぞれ56.8 FPSおよび48.6 FPSで動作します。当研究グループが知る限りにおいて、これはモバイルデバイス上で利用可能な最初のリアルタイム深層LSDです。当研究グループのコードは公開されています。