SqueezeBERT: 컴퓨터 비전은 NLP에 효율적인 신경망에 대해 무엇을 가르쳐줄 수 있는가?

사람들은 하루에 수백억 개의 메시지를 읽고 작성한다. 더불어 대규모 데이터셋과 강력한 컴퓨팅 시스템, 그리고 개선된 신경망 모델의 보급으로 자연어 처리(NLP) 기술은 이러한 메시지의 이해, 문법 검사, 정리 측면에서 큰 발전을 이뤘다. 이에 따라 NLP 기술을 웹 사용자, 소셜 네트워크 및 기업 등 다양한 응용 분야에 도입할 수 있는 큰 기회가 열렸다. 특히 우리는 스마트폰과 기타 모바일 장치를 대규모로 NLP 모델을 배포하는 핵심 플랫폼으로 간주한다. 그러나 현재의 높은 정확도를 자랑하는 NLP 신경망 모델, 예를 들어 BERT나 RoBERTa는 매우 높은 계산 비용을 수반하며, Pixel 3 스마트폰에서 텍스트 조각 하나를 분류하는 데 BERT-base는 1.7초가 걸린다. 본 연구에서는 컴퓨터 비전 네트워크에서 그룹화된 컨볼루션(grouped convolutions) 기법이 상당한 속도 향상을 가져왔음을 관찰했으나, 이러한 기법들이 NLP 신경망 설계자들 사이에서는 아직 널리 채택되지 않았다는 점을 지적한다. 우리는 자기 주의(self-attention) 레이어 내 여러 연산을 그룹화된 컨볼루션으로 대체하는 방법을 제시하며, 이를 새로운 네트워크 아키텍처인 SqueezeBERT에 적용하였다. 그 결과, Pixel 3에서 BERT-base보다 4.3배 빠른 속도로 동작하면서 GLUE 테스트 세트에서 경쟁력 있는 정확도를 달성하였다. SqueezeBERT의 코드는 공개될 예정이다.