HyperAIHyperAI

Command Palette

Search for a command to run...

自己適応階層文モデル

Han Zhao Zhengdong Lu Pascal Poupart

概要

文の異なる段階(例えば、単語-フレーズ-文)を正確にモデル化する能力は、自然言語処理において中心的な役割を果たしています。この目標に向けて、我々は自己適応階層型文モデル(AdaSent)を提案します。AdaSentは、隣接セグメントの再帰的なゲート付き局所合成を通じて、単語からフレーズ、そして文へと表現の階層を効果的に形成します。我々はゲーティングネットワークを通じた競争メカニズムを設計し、同じ文の表現が特定の学習タスク(例えば、分類)に参加できるようにしました。これにより、他の再帰モデルで持続的に見られる勾配消失問題が効果的に軽減されます。定性的分析と定量的分析の両方が示しているように、AdaSentは訓練中に自動的にタスクに適した表現を形成し選択することができ、5つのベンチマークデータセットにおいて競合モデルよりも優れた分類性能を発揮します。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています