HyperAIHyperAI

Command Palette

Search for a command to run...

ソーシャルメディアにおけるテキスト正規化のためのSequence to Sequenceモデルの適応

Ismini Lourentzou Kabir Manghnani ChengXiang Zhai

概要

ソーシャルメディアは豊富な価値ある生データの源を提供していますが、非公式な書き方が多くの自然言語処理(NLP)タスクにとって迅速にボトルネックとなることがあります。既製のツールは通常、公式テキストで訓練されており、短いオンライン投稿に見られるノイズを明示的に処理することはできません。さらに、頻繁に発生する多様な言語変異は、スラングや略語を含む場合特に、人間にとっても意味を理解することが困難な課題を呈します。テキスト正規化は、オンラインユーザー生成テキストを標準的な形式に変換することを目指しています。現在のテキスト正規化システムは、文字列または音韻類似性と局所的に動作する分類モデルに依存しています。我々は、このタスクにおいて文脈情報を処理することが重要であると主張し、ソーシャルメディアのテキスト正規化のためにハイブリッド単語-文字アテンションベースのエンコーダー-デコーダーモデルを導入します。このモデルはNLPアプリケーションの前処理ステップとして機能し、ソーシャルメディアにおけるノイズのあるテキストへの適応を可能にします。我々の文字ベースのコンポーネントは、オンラインユーザー生成テキストで一般的に見られるエラーを捉えるために設計された合成敵対例で訓練されます。実験結果から、我々のモデルはテキスト正規化向けに設計されたニューラルアーキテクチャを超えており、最先端の関連研究と同等の性能を達成していることが示されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ソーシャルメディアにおけるテキスト正規化のためのSequence to Sequenceモデルの適応 | 記事 | HyperAI超神経