17일 전

시퀀스 내 벡터 라우팅을 위한 알고리즘

Franz A. Heinsen
시퀀스 내 벡터 라우팅을 위한 알고리즘
초록

우리는 입력 벡터 시퀀스를 받아 지정된 길이와 벡터 크기를 갖는 새로운 시퀀스를 계산하는 라우팅 알고리즘을 제안한다. 각 출력 벡터는 입력 벡터를 더 잘 예측함으로써, 데이터를 사용할 때의 순이익과 무시할 때의 순비용 간의 차이인 '비트당 성과(bang per bit)'를 극대화한다. 우리는 출력 벡터를 기하학적 객체로 설명하며, 잠재 변수로서 책임을 할당하는 역할, 연상 기억 모델 내의 쿼리 상태, 그리고 마음의 사회 모델 내의 에이전트로 해석한다. 본 알고리즘은 매개변수 수, 계산량, 메모리 사용량을 수개의 주문 차수만큼 감소시키는 최적화 기법을 통해 구현되었으며, 이로 인해 이전까지 불가능했던 길이의 시퀀스 라우팅이 가능해졌다. 제안한 구현체는 자연어 처리 및 시각 분류 과제에서 경쟁력 있는 또는 최첨단 수준의 정확도를 달성하였으며, 종단간 책임 할당(end-to-end credit assignment)이 해석 가능함을 입증하였다.

시퀀스 내 벡터 라우팅을 위한 알고리즘 | 최신 연구 논문 | HyperAI초신경