2ヶ月前

ポインターネットワーク

Oriol Vinyals; Meire Fortunato; Navdeep Jaitly
ポインターネットワーク
要約

新しいニューラルアーキテクチャを提案し、入力シーケンスの位置に対応する離散的なトークンからなる出力シーケンスの条件付き確率を学習します。このような問題は、出力の各ステップにおけるターゲットクラス数が可変長の入力シーケンスに依存するため、従来のアプローチ(例:シーケンス・トゥ・シーケンスやニューラル・チューリング・マシン)では単純には解決できません。ソートや様々な組合せ最適化問題など、可変長のシーケンスを扱う問題はこのクラスに属します。当モデルは、最近提案されたニューラル注意メカニズムを使用して、可変サイズの出力辞書の問題を解決します。これは以前の注意メカニズムとは異なり、デコーダーの各ステップでエンコーダーの隠れユニットをコンテキストベクトルにブレンドする代わりに、注意メカニズムをポインターとして使用して入力シーケンスからメンバーを選択します。このアーキテクチャをポインタネットワーク(Pointer Net, Ptr-Net)と呼びます。私たちはPtr-Netsが訓練例のみを使用して、三次元凸包を見つける問題、ドロネー三角形分割を計算する問題、および二次元巡回セールスマン問題(Planar Travelling Salesman Problem)という三つの難解な幾何学的問題に対する近似解を学習できることを示しています。Ptr-Netsは入力注意を使用したシーケンス・トゥ・シーケンスよりも優れており、さらに可変サイズの出力辞書への汎化も可能にします。私たちは学習したモデルが訓練時に使用された最大長を超えて汎化することを示しています。これらの課題に関する結果が離散的な問題に対するニューラル学習の一層広範な探索につながることを期待しています。注:「三次元凸包」は原文では「planar convex hulls」であり、「planar」は平面的なという意味なので、「三次元」ではなく「二次元」または「平面」の方が正確です。ただし、「三次元凸包」という表現も一般的に使用されるため、文脈によって適切な翻訳を選んでください。ここでは「平面」と翻訳しました。修正后的版本:私たちはPtr-Netsが訓練例のみを使用して、平面凸包を見つける問題、ドロネー三角形分割を計算する問題、および二次元巡回セールスマン問題(Planar Travelling Salesman Problem)という三つの難解な幾何学的問題に対する近似解を学習できることを示しています。

ポインターネットワーク | 最新論文 | HyperAI超神経