HyperAIHyperAI

Command Palette

Search for a command to run...

スパン表現を用いない共参照解決

Yuval Kirstain Ori Ram Omer Levy

概要

事前学習済み言語モデルの導入により、多くの複雑なタスク固有の自然言語処理(NLP)モデルが単純な軽量なレイヤーに簡略化された。この傾向に対する例外は、共参照解決(coreference resolution)である。共参照解決では、事前学習済みTransformerエンコーダーに高度に設計されたタスク固有のモデルが追加される。このアプローチは非常に効果的ではあるが、動的に構築されるスパン(span)およびスパンペア表現に起因して、メモリ使用量が非常に大きくなるという課題がある。その結果、長文の処理や1バッチ内で複数のインスタンスを同時に学習する能力が制限される。本研究では、スパン表現や手作業で設計された特徴量、ヒューリスティクスに依存しない軽量なエンドツーエンド型共参照解決モデルを提案する。提案モデルは現行の標準モデルと同等の性能を達成しつつ、構造がより単純で効率的である。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています