초록
우리는 기존의 어텐션을 적용하기 전에 입력 시퀀스를 처리하기 위해 2차 순서의 동적(즉, 입력에 의존하는) 무한 임펄스 응답(IIR) 필터를 사용하는 새로운 레이어를 제안한다. 입력은 청크 단위로 분할되며, 이 필터의 계수는 인과성( causality )을 유지하기 위해 이전 청크에 기반하여 결정된다. 상대적으로 낮은 차수임에도 불구하고, 인과적 적응형 필터는 관련 시퀀스 요소에 주목함을 보여준다. 이 새로운 레이어는 제어 이론에 기반하며, 대각형 상태공간 레이어들을 일반화함을 입증하였다. 이 레이어는 최첨단 네트워크와 동등한 성능을 보이며, 파라미터 수는 그 일부에 불과하고, 입력 크기에 대해 2차보다 낮은 시간 복잡도를 갖는다. 이로 얻어진 레이어는 Heyna, GPT2, Mega와 같은 레이어들과 비교하여 파라미터 수와 다수의 장거리 시퀀스 문제에서 달성된 성능 측면에서 모두 유리하다.