
要約
複雑なデータに対する優れた表現能力を有する深層ニューラルネットワーク(DNN)に基づく手法は、順序カテゴリにインスタンスを分類することを目的とする順序回帰問題において、現在の最先端技術である。しかし、DNNは不確実性を捉えられず、確率的解釈を提供できないという課題がある。一方、確率的モデルであるガウス過程(GP)は不確実性に関する情報を提供するが、大規模なデータセットに対してスケーラビリティに欠けるという問題がある。本論文では、共役および非共役の順序尤度関数を用いることで、従来のGP回帰を順序回帰問題に適応する。さらに、その枠組みに基づき、上位にGP層を搭載した深層ニューラルネットワークを提案する。このモデルは、ニューラルネットワークパラメータとGPパラメータの両方を、確率的勾配降下法(SGD)を用いてエンド・ツー・エンドで学習する。順序尤度関数内のパラメータはニューラルネットワークのパラメータとして学習されるため、提案手法は学習データセットに対して適合した尤度関数を生成し、テストポイントに対して確率的予測を提供することが可能となる。画像の美的評価、歴史的画像の等級付け、年齢層推定という3つの実世界ベンチマークにおける実験結果から、平均絶対誤差(MAE)の観点で、提案手法は既存の最先端順序回帰手法を上回り、予測に対する信頼区間を提供することを示した。