진행 중인 연구: TinyML을 위한 선형 트랜스포머

우리는 테이너미스(이하 TinyML) 장치에서 긴 시퀀스 추론을 가능하게 하기 위해 선형 어텐션 기반의 신경망 아키텍처인 WaveFormer을 제안한다. WaveFormer은 무게 저장 용량이 단 130kB에 불과함에도 불구하고, Google Speech V2 키워드 스팟팅(KWS) 데이터셋에서 12클래스 문제와 35클래스 문제에 대해 각각 98.8%, 99.1%의 새로운 최고 성능을 달성하였다. 기존 최고 성능 대비 모델 크기와 연산 횟수를 각각 2.5배, 4.7배 감소시키면서도 상위 1 정확도는 각각 0.1, 0.9%p 향상시켰다. 또한 선형 어텐션 연산자에 대해 하드웨어 친화적인 8비트 정수 양자화 알고리즘을 제안하여, 정확도 손실 없이 저비용·초저전력 마이크로컨트롤러에 효율적으로 배포할 수 있도록 하였다.