要約
文の異なる段階（例えば、単語-フレーズ-文）を正確にモデル化する能力は、自然言語処理において中心的な役割を果たしています。この目標に向けて、我々は自己適応階層型文モデル（AdaSent）を提案します。AdaSentは、隣接セグメントの再帰的なゲート付き局所合成を通じて、単語からフレーズ、そして文へと表現の階層を効果的に形成します。我々はゲーティングネットワークを通じた競争メカニズムを設計し、同じ文の表現が特定の学習タスク（例えば、分類）に参加できるようにしました。これにより、他の再帰モデルで持続的に見られる勾配消失問題が効果的に軽減されます。定性的分析と定量的分析の両方が示しているように、AdaSentは訓練中に自動的にタスクに適した表現を形成し選択することができ、5つのベンチマークデータセットにおいて競合モデルよりも優れた分類性能を発揮します。