HyperAIHyperAI

Command Palette

Search for a command to run...

Neural Sequence Labeling モデルにおける文字の注目

Marek Rei Gamal K.O. Crichton Sampo Pyysalo

概要

シーケンスラベリングアーキテクチャは、単語の類似性を捉えるために単語埋め込みを使用しますが、未見または稀な単語を処理する際には性能が低下する傾向があります。本研究では、そのようなモデルに対する文字レベルの拡張について調査し、代替的な単語表現を組み合わせる新しいアーキテクチャを提案します。注意メカニズムを使用することで、モデルは単語レベルまたは文字レベルのコンポーネントからどの程度の情報を使用するかを動的に決定することができます。異なるアーキテクチャを複数のシーケンスラベリングデータセットで評価した結果、文字レベルの拡張がすべてのベンチマークで性能向上に寄与することが確認されました。さらに、提案された注意メカニズムに基づくアーキテクチャは、学習可能なパラメータ数が少ない場合でも最良の結果を示しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
Neural Sequence Labeling モデルにおける文字の注目 | 記事 | HyperAI超神経