2달 전

캡슐 간 동적 라우팅

Sara Sabour; Nicholas Frosst; Geoffrey E Hinton
캡슐 간 동적 라우팅
초록

캡슐은 특정 유형의 엔티티(예: 객체 또는 객체 부분)의 인스턴스화 매개변수를 나타내는 뉴런 그룹입니다. 우리는 활동 벡터의 길이를 사용하여 해당 엔티티가 존재할 확률을 나타내고, 그 방향을 사용하여 인스턴스화 매개변수를 나타냅니다. 한 수준의 활성 캡슐들은 변환 행렬을 통해 상위 수준의 캡슐들의 인스턴스화 매개변수에 대한 예측을 수행합니다. 여러 예측이 일치할 때, 상위 수준의 캡슐이 활성화됩니다. 우리는 차별적으로 훈련된 다층 캡슐 시스템이 MNIST에서 최신 성능을 달성하며, 특히 겹쳐진 숫자를 인식하는 데 있어 합성곱 신경망보다 훨씬 우수하다는 것을 보여줍니다. 이러한 결과를 얻기 위해 반복적인 합의에 의한 라우팅 메커니즘(Iterative Routing-by-Agreement Mechanism)을 사용합니다: 하위 수준의 캡슐은 자신의 출력을 하위 수준 캡슐로부터 도출된 예측 벡터와 큰 스칼라 곱을 가진 상위 수준의 캡슐에게 보내는 것을 선호합니다.

캡슐 간 동적 라우팅 | 최신 연구 논문 | HyperAI초신경