双方向LSTM（Bi-directional LSTM）はテキスト表現の強力なツールであるが、一方でその逐次的な性質により様々な制限があることが示されている。本研究では、各単語に対して並列状態を持つ代替LSTM構造を提案し、単語間での局所情報と全体情報の交換を同時に行うために再帰ステップを使用する方法を検討した。これは、単語の系列を増分的に読み取るのではなく、同時に行うものである。様々な分類およびシーケンスラベリングベンチマークにおける結果は、提案モデルが強い表現力を有し、同程度のパラメータ数を持つ積み重ね型双方向LSTMモデルと比較して競争力のある性能を示していることを示している。