2달 전

Tensor Train 분해 기반 3DCNN 압축

Dingheng Wang; Guangshe Zhao; Guoqi Li; Lei Deng; Yang Wu
Tensor Train 분해 기반 3DCNN 압축
초록

세 가지 차원의 합성곱 신경망(3DCNNs)은 비디오 인식과 3D 포인트 클라우드 인식 등 다양한 작업에 적용되어 왔습니다. 그러나 합성곱 커널의 차원이 높아지면서, 3DCNNs의 공간 복잡도는 전통적인 두 가지 차원의 합성곱 신경망(2DCNNs)보다 일반적으로 더 큽니다. 임베디드 장치와 같은 제한된 환경에서 3DCNNs를 배포하기 위해, 신경망 압축이 유망한 접근 방식입니다. 본 연구에서는 텐서 트레인(TT) 분해, 즉 간단하고 직관적인 현장 훈련 압축 방법을 사용하여 3DCNN 모델을 축소하는 방법을 탐구하였습니다. TT 형식으로 3D 합성곱 커널을 텐서화하는 방법을 제안하며, 높은 압축률을 달성하기 위한 적절한 TT 순위 선택 방법에 대해 조사하였습니다. 또한, 3D 합성곱 커널의 압축을 위한 중복성, 이 연구의 핵심적 의미 및 미래 방향, 그리고 TT 형식에서 합성곱 연산의 이론적 계산 복잡도와 실제 실행 시간에 대한 논의를 포함하였습니다. VIVA 챌린지, UCF11, UCF101 데이터셋을 기반으로 한 다수의 대조 실험 결과를 통해, TT 분해가 큰 정확도 손실 없이 3DCNNs를 약 백 배로 압축할 수 있음을 결론짓습니다. 이는 다양한 실제 시나리오에서의 응용 가능성을 크게 높일 것입니다.

Tensor Train 분해 기반 3DCNN 압축 | 최신 연구 논문 | HyperAI초신경