지속적인 트랜스포머: 온라인 추론을 위한 중복 없는 어텐션

일반적인 형태의 트랜스포머는 전체 토큰 시퀀스를 한 번에 처리하도록 본질적으로 제한되어 있으며, 한 번에 하나의 토큰만을 처리하는 것은 불가능합니다. 따라서 시간 시리즈 데이터에서 온라인 추론을 수행할 때, 연속적인 토큰 시퀀스 간의 중복으로 인해 상당한 중복성이 발생합니다. 이 연구에서는 스케일드 닷-프로덕트 어텐션(Scaled Dot-Product Attention)의 새로운 공식화를 제안하여 트랜스포머가 지속적인 입력 스트림에서 효율적인 온라인 토큰별 추론을 수행할 수 있도록 합니다. 특히, 우리의 수정은 계산 순서에만 국한되며, 출력과 학습된 가중치는 원래의 트랜스포머 인코더와 동일합니다. THUMOS14, TVSeries 및 GTZAN 데이터셋을 사용한 실험을 통해 우리의 지속적 트랜스포머 인코더를 검증하였으며, 뛰어난 결과를 얻었습니다: 우리의 지속적 1블록 및 2블록 아키텍처는 예측 당 부동소수점 연산(Floating Point Operations)을 각각 최대 63배와 2.6배 줄였으며, 예측 성능은 유지되었습니다.