HyperAIHyperAI

Command Palette

Search for a command to run...

エンコーダ-デコーダにおける摂動の再考:高速トレーニングのためのアプローチ

Sho Takase Shun Kiyono

概要

我々はしばしば摂動(perturbations)をニューラルモデルの正則化に用いる。ニューラルエンコーダデコーダモデルにおいて、これまでの研究ではスケジュールドサンプリング(Bengioら, 2015)や敵対的摂動(Satoら, 2019)が摂動として採用されてきたが、これらの手法は計算時間の消費が大きく、コストがかかる。したがって、本研究では、これらのアプローチが訓練時間の観点から十分に効率的かどうかという問題に着目する。我々は、シーケンス・トゥ・シーケンス問題において、複数の摂動手法を計算時間の観点から比較検討した。実験の結果、単純な手法である単語ドロップアウト(GalとGhahramani, 2016)や入力トークンのランダム置換が、最近提案された摂動手法と同等(あるいはそれ以上)の性能を達成していることが示された。さらに、これらの単純な手法は計算速度が速いため、実用性に優れている。本研究のコードは、https://github.com/takase/rethink_perturbations にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています