토큰 튜링 기계

우리는 실제 시퀀스 시각 인식 문제를 위한 순차적이고 자동회귀적인 Transformer 모델인 Token Turing Machine(TTM)을 제안한다. 이 모델은 전통적인 Neural Turing Machine의 영향을 받았으며, 이전의 역사(즉, 프레임들)를 요약하는 일련의 토큰들로 구성된 외부 메모리 구조를 갖는다. 이 메모리는 각 단계에서 Transformer를 처리 단위(또는 제어기)로 사용하여 효율적으로 주소 지정, 읽기 및 쓰기가 가능하다. 메모리 모듈은 새로운 관측값이 전체 이력이 아닌 메모리 내의 내용과만 처리되도록 보장하므로, 각 단계에서 계산 비용이 일정하게 제한되면서도 긴 시퀀스를 효율적으로 처리할 수 있다. 우리는 TTM이 긴 시퀀스를 처리하기 위해 설계된 다른 Transformer 모델 및 순환 신경망(RNN)과 비교하여, 동영상에서의 온라인 시계열 활동 탐지와 시각 기반 로봇 행동 정책 학습이라는 두 가지 실제 시퀀스 시각 인식 과제에서 더 뛰어난 성능을 보임을 실험적으로 입증하였다. 코드는 공개되어 있으며, 다음 주소에서 확인할 수 있다: https://github.com/google-research/scenic/tree/main/scenic/projects/token_turing