深層スケッチ出力カーネル回帰による構造予測

出力空間でのカーネルトリックを活用することで、カーネル誘導損失は多様な出力モダリティに対して構造化出力予測タスクを定義する合理的な方法を提供します。特に、カーネルトリックが入力空間でも一般的に利用される疑似非パラメトリック回帰の文脈で、成功裏に使用されてきました。しかし、入力が画像やテキストの場合には、深層ニューラルネットワークのようなより表現力豊かなモデルが非パラメトリック手法よりも適しているように見えます。本研究では、深層ニューラルネットワークを用いて構造化出力予測タスクを解く方法について検討し、同時にカーネル誘導損失の多様性と有用性を活かす方法を探ります。私たちは新しい深層ニューラルアーキテクチャのファミリーを設計しました。このアーキテクチャの最終層は、カーネル誘導損失から派生した無限次元出力特徴空間内のデータ依存的な有限次元部分空間での予測を行います。この部分空間は、経験的なカーネル共分散作用素のランダム近似版の固有関数によって生成されます。興味深いことに、このアプローチにより勾配降下アルゴリズム（そしてその結果として任意のニューラルアーキテクチャ）を使用して構造化予測を行うことが可能になります。合成タスクおよび実世界の監督付きグラフ予測問題における実験結果は、私たちの方法の有用性を示しています。