2ヶ月前

変換自己回帰ネットワーク

Junier B. Oliva; Avinava Dubey; Manzil Zaheer; Barnabás Póczos; Ruslan Salakhutdinov; Eric P. Xing; Jeff Schneider
変換自己回帰ネットワーク
要約

一般的密度推定 ( p(x) ) は機械学習において大きな関心を集めています。本研究では、密度推定の手法を系統的に特徴づけることを試みます。大まかに言って、既存の手法の多くは以下のいずれかに分類されます:\textit{a}) 鎖規則の条件付き因子 ( p(x_{i} \, | \, x_{i-1}, \ldots) ) を推定するために自己回帰モデルを使用する方法;または \textit{b}) 単純な基底分布の変数に対する非線形変換を使用する方法です。これらのカテゴリーの特性を研究した結果、各カテゴリーに対して複数の新しい手法を提案しました。例えば、非マルコフ依存関係をモデル化するために RNN(再帰型ニューラルネットワーク)に基づく変換を提案しています。さらに、実世界データと合成データを用いた包括的な研究を通じて、変数の変換と自己回帰条件付きモデルを組み合わせることで性能が大幅に向上することを示しました。我々のモデルが外れ値検出や画像モデリングにおける用途についても説明します。最後に、分布族を学習するための新しいデータ駆動型フレームワークを導入します。