我们提出了一种基于新型递归神经网络（RNN）的模型，该模型结合了酉RNN的记忆能力以及门控RNN有效忘记冗余/无关信息的能力。通过在酉RNN中引入门控机制，我们实现了这一目标。我们的模型在多个长期依赖基准任务上超越了LSTM、GRU和酉RNN的表现。我们通过实验证明，正交/酉RNN缺乏忘记的能力，而GORU则能够在记住长期依赖关系的同时忘记无关信息。这在递归神经网络中起着重要作用。我们在许多自然序列任务上提供了具有竞争力的结果，并对我们的模型进行了分析，这些任务包括bAbI问答、TIMIT语音频谱预测、Penn TreeBank以及涉及长期依赖的合成任务，如算法任务、括号匹配、去噪和复制任务。