HyperAIHyperAI

Command Palette

Search for a command to run...

FRAGE: 周波数非依存的な単語表現

Chengyue Gong*1 [email protected] Di He*2 [email protected] Xu Tan3 [email protected] Tao Qin3 [email protected] Liwei Wang2,4 [email protected] Tie-Yan Liu3 [email protected]

概要

連続的な単語表現(いわゆる単語埋め込み)は、自然言語処理タスクで使用される多くのニューラルネットワークベースのモデルの基本的な構成要素です。類似した意味を持つ単語が埋め込み空間において近接するべきであるという認識は広く受け入れられていますが、我々はいくつかのタスクで学習された単語埋め込みが頻度に偏っていることを発見しました。つまり、高頻度と低頻度の単語の埋め込みは埋め込み空間内の異なる部分領域に位置し、稀な単語と一般的な単語の埋め込みは意味的に類似していても遠ざかっています。これにより、学習された単語埋め込みは特に稀な単語に対して効果的ではなく、その結果としてこれらのニューラルネットワークモデルの性能が制限されます。本論文では、敵対的訓練を用いて \emph{周波数無関係単語埋め込み} (FRAGE) を学習する簡潔かつ効果的な方法を開発します。我々は4つの自然言語処理タスク(単語類似性、言語モデル化、機械翻訳、テキスト分類)にわたる10つのデータセットを用いて包括的な研究を行いました。結果は、FRAGEを使用することですべてのタスクでベースラインよりも高い性能を達成できることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
FRAGE: 周波数非依存的な単語表現 | 記事 | HyperAI超神経