私たちはReCAT（Recursive Composition Augmented Transformer）を提案します。これは、学習と推論の両段階でゴールドツリーに依存せずに、生テキストの階層的な構文構造を明示的にモデル化できるTransformerです。既存の研究では、データが階層的な木構造に従うことが制約されており、そのためスパン間の通信が欠けています。この問題を克服するために、私たちは新しいコンテクスト付きインサイドアウトサイド（CIO）レイヤーを提案します。このレイヤーは、ボトムアップとトップダウンのパスを通じてスパンのコンテクスト化された表現を学習します。ボトムアップパスでは、低レベルのスパンから高レベルのスパンの表現を形成し、トップダウンパスでは、スパン内とスパン外の情報を組み合わせます。Transformer内の埋め込み層と注意層の間に複数のCIOレイヤーを積み重ねることにより、ReCATモデルは深層スパン内相互作用と深層スパン間相互作用を行うことができ、他のスパンとの完全なコンテクスト化された多粒度表現を生成します。さらに、CIOレイヤーはTransformersと共に事前学習することができるので、ReCATは拡張能力、高性能性、解釈可能性を同時に享受できます。私たちは様々な文レベルおよびスパンレベルタスクに対して実験を行いました。評価結果は、ReCATがすべてのスパンレベルタスクにおいて単純なTransformerモデルを大幅に上回り、また自然言語推論タスクにおいて再帰ネットワークとTransformerを組み合わせたベースラインも上回っていることを示しています。より興味深いことに、ReCATによって誘導される階層構造は人間が注釈した構文木と強い一貫性を持ち、CIOレイヤーによってもたらされる良好な解釈可能性を示唆しています。