要約
自然言語処理（NLP）におけるニューラルネットワークベースのモデルにおいて、パラメータの大部分はしばしば単語埋め込み（word embeddings）で構成されています。従来のモデルでは、語彙サイズに依存する大きな埋め込み行列を準備します。したがって、これらのモデルをメモリやディスクストレージに保存することはコストがかかります。本研究では、全パラメータ数を削減するために、共有埋め込みを変換することですべての単語の埋め込みを表現することを目指しました。提案された手法ALONE（all word embeddings from one）は、単語固有だが学習不可能なフィルターベクトルを使用して共有埋め込みを修正し、その単語の埋め込みを構築します。次に、構築された埋め込みをフィードフォワードニューラルネットワークに入力して表現力を高めます。単純に考えると、フィルターベクトルは従来の埋め込み行列と同じメモリサイズを占有し、これは語彙サイズに依存します。この問題を解決するために、メモリー効率の高いフィルター構築手法も導入しました。事前学習済みの単語埋め込みの再構成実験を通じて、ALONEが十分な単語表現として使用できることを示しています。さらに、機械翻訳と要約というNLP応用タスクについても実験を行いました。ALONEは最新のエンコーダー-デコーダーモデルであるTransformerと組み合わせられ、WMT 2014英語-ドイツ語翻訳とDUC 2004非常に短い要約において少ないパラメータで同等のスコアを達成しました。