HyperAIHyperAI

Command Palette

Search for a command to run...

無視する技術の習得:限界記憶ニューラルネットワークを用いた長文コアファレンス

Shubham Toshniwal Sam Wiseman Allyson Ettinger Karen Livescu Kevin Gimpel

概要

長文におけるコアフレンス解決は、現在のモデルが大きなメモリ容量および実行時間の要件を伴うため、依然として困難な課題である。近年、エンティティのグローバル表現のみを用いてインクリメンタルにコアフレンス解決を行う手法が提案され、実用的な利点が示されているが、その一方ですべてのエンティティをメモリ上に保持する必要があるため、長文に対しては現実的でない場合がある。本研究では、すべてのエンティティをメモリに保持する必要はないと主張し、一度に少数の限定された数のエンティティのみを追跡するメモリ拡張型ニューラルネットワークを提案する。これにより、文書長さに対して線形な実行時間の保証が可能となる。本研究では、(a) OntoNotesおよびLitBankのデータセットにおいて、高メモリ・高計算量を要するモデルと比較しても競争力のある性能を発揮すること、および (b) ルールベースの戦略を容易に上回る効率的なメモリ管理戦略を学習できることを示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
無視する技術の習得:限界記憶ニューラルネットワークを用いた長文コアファレンス | 記事 | HyperAI超神経