将循环神经网络（RNNs）视为连续时间动力系统，我们提出了一种描述隐藏状态演化的循环单元，该演化过程由两部分组成：一个易于理解的线性组件加上一个Lipschitz非线性组件。这种特定的功能形式使得可以利用非线性系统理论中的工具来分析循环单元的长期行为稳定性。进而，这在实验之前就为架构设计决策提供了依据。我们获得了该循环单元全局稳定的充分条件，这激发了一种新的构建隐藏层到隐藏层矩阵的方法。我们的实验表明，Lipschitz RNN在一系列基准任务中可以超越现有的循环单元，包括计算机视觉、语言建模和语音预测任务。最后，通过基于Hessian的分析，我们证明了我们的Lipschitz循环单元相比其他连续时间RNN对输入和参数扰动具有更强的鲁棒性。