Self Attention Distillation을 이용한 경량 차선 검출 CNNs 학습

차선 인식을 위한 깊은 모델의 훈련은 차선 주석에 내재된 매우 미세하고 희박한 감독 신호로 인해 도전적입니다. 더 풍부한 문맥에서 학습하지 않으면 이러한 모델들은 심각한 가림, 애매한 차선, 불량 조건 등 어려운 상황에서 종종 실패합니다. 본 논문에서는 새로운 지식 증류 접근법인 자기 주목력 증류(Self Attention Distillation, SAD)를 제시합니다. 이 방법은 모델이 자신으로부터 학습할 수 있게 하여 추가적인 감독이나 라벨 없이도 실질적인 개선을 가져옵니다. 구체적으로, 적절한 수준까지 훈련된 모델로부터 추출된 주목력 맵이 풍부한 문맥 정보를 인코딩한다는 것을 관찰했습니다. 이 값진 문맥 정보는 네트워크 내에서 상향식 및 층별 주목력 증류를 수행하여 더욱 깊은 표현 학습을 위한 '무료' 감독 형태로 활용될 수 있습니다. SAD는 어떠한 피드포워드 컨볼루션 신경망(Feedforward Convolutional Neural Networks, CNN)에도 쉽게 통합될 수 있으며 추론 시간을 증가시키지 않습니다. 우리는 ENet, ResNet-18 및 ResNet-34와 같은 경량 모델들을 사용하여 TuSimple, CULane 및 BDD100K라는 세 가지 유명한 차선 인식 벤치마크에서 SAD를 검증했습니다. 가장 경량화된 모델인 ENet-SAD는 기존 알고리즘과 비교하거나 그 이상의 성능을 보여주었습니다. 특히 ENet-SAD는 최신 기술인 SCNN보다 20배 적은 매개변수와 10배 빠른 실행 속도를 가지고 있으며, 모든 벤치마크에서 우수한 성능을 달성하였습니다. 우리의 코드는 https://github.com/cardwing/Codes-for-Lane-Detection 에서 확인할 수 있습니다.