경량화 및 실시간 선분 검출을 향하여

이전의 딥러닝 기반 선분 검출(LSD) 방법은 선 예측을 위한 방대한 모델 크기와 높은 계산 비용으로 인해 실시간 추론이 제약된 환경에서 사용하기 어려웠습니다. 본 논문에서는 자원 제약 환경에서 실시간으로 작동하는 경량 선분 검출기인 Mobile LSD (M-LSD)를 제안합니다. 우리는 백본 네트워크를 최소화하고 이전 방법에서 발견되는 일반적인 다중 모듈 프로세스를 제거하여 극도로 효율적인 LSD 아키텍처를 설계하였습니다. 경량 네트워크에서도 경쟁력 있는 성능을 유지하기 위해, 새로운 훈련 방식인 선분(Segments of Line segment, SoL) 증강, 매칭 및 기하학적 손실을 제시합니다. SoL 증강은 선분을 여러 하위 부분으로 나누어 훈련 과정에서 보조적인 선 데이터를 제공합니다. 또한, 매칭 및 기하학적 손실은 모델이 추가적인 기하학적 정보를 포착할 수 있도록 합니다. 이전 최고의 실시간 LSD 방법인 TP-LSD-Lite와 비교하여, 우리의 모델(M-LSD-tiny)은 모델 크기가 2.5%에 불과하면서 GPU에서 추론 속도가 130.5% 향상되었습니다. 더욱이, 우리의 모델은 최신 안드로이드와 아이폰 모바일 장치에서 각각 56.8 FPS와 48.6 FPS로 실행됩니다. 우리 지식의 범위 내에서는, 이는 모바일 장치에서 사용 가능한 첫 번째 실시간 딥 LSD입니다. 우리의 코드는 공개되어 있습니다.