반복 신경망(RNN)은 학습이 어렵기만 하지, 특히 깊은 공간 구조를 가진 경우 더욱 도전적이다. 거리감이 큰 단계 간 전이 깊이를 허용함으로써 더 표현력 있는 모델을 가능하게 하기 위해, Recurrent Highway Network(RHN)과 같은 하이웨이 연결 기반 아키텍처가 개발되었다. 그러나 이러한 모델 역시 장기 의존성(long-term dependencies)을 포착해야 하는 문제에 대해 여전히 충분히 해결되지 못하고 있다. 더불어 공간적 깊이가 증가함에 따라 장기 기억을 유지하는 능력이 감소하는 경향이 있는데, 이는 깊어진 구조가 기울기 소실(gradient vanishing)을 가속화하기 때문이다. 본 논문에서는 이러한 문제를 해결하기 위해 RHN 기반의 새로운 RNN 아키텍처인 그룹화 보조 메모리가 내장된 반복 하이웨이 네트워크(GAM-RHN)를 제안한다. 제안된 아키텍처는 장기 정보를 저장하기 위해 독립적인 보조 메모리 유닛 집합과 RHN을 상호 연결하며, 이는 읽기 및 쓰기 연산을 통해 이루어지며, 메모리 증강 신경망(Memory Augmented Neural Networks, MANNs)과 유사한 원리에 기반한다. 인공적인 장기 지연 태스크에 대한 실험 결과에 따르면, GAM-RHN은 시간적·공간적으로 깊은 구조를 갖되 효율적으로 학습될 수 있음을 입증하였다. 또한 언어 모델링, 시계열 이미지 분류, 금융 시장 예측 등 다양한 태스크에서 제안된 아키텍처를 평가하였으며, 해당 작업들에서 최첨단 성능을 달성함으로써 본 방법의 잠재력을 입증하였다.