HyperAIHyperAI

Command Palette

Search for a command to run...

テキスト簡略化における文対応のためのニューラルCRFモデル

Chao Jiang Mounica Maddela Wuwei Lan Yang Zhong Wei Xu

概要

テキスト簡略化システムの性能は、学習コーパスに含まれる複雑文と簡略文のペアの質と量に大きく依存しており、これらのペアは並行記事間の文の対応付けによって抽出される。文の対応付けの品質を評価および向上させるために、一般的に用いられるテキスト簡略化コーパスであるNewselaとWikipediaから、手動でアノテーションされた2つの文対応データセットを構築した。本研究では、並行文書内の文の順序性を活用するとともに、ニューラル文ペアモデルを用いて意味的類似性を捉えることのできる新しいニューラルCRF対応モデルを提案する。実験の結果、本手法は単言語文対応タスクにおいて、従来のすべての手法をF1スコアで5ポイント以上上回ることが示された。さらに、本CRF対応モデルを活用して、既存のデータセットと比較して大幅に規模が大きく、品質も優れた新しいテキスト簡略化データセット「Newsela-Auto」と「Wiki-Auto」を構築した。これらのデータセット上で学習されたTransformerベースのseq2seqモデルは、自動評価および人間評価の両面で、テキスト簡略化分野における新たな最先端性能(state-of-the-art)を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています