17日前

より多くのレイヤー!深層学習を用いたテーブルデータにおけるエンドツーエンド回帰と不確実性

Ivan Bondarenko
より多くのレイヤー!深層学習を用いたテーブルデータにおけるエンドツーエンド回帰と不確実性
要約

本論文は、表形式データ(タブularデータ)処理における深層学習の有効性を分析することを目的としている。一般に、この分野では決定木およびそのアンサンブル手法が主流とされ、深層ニューラルネットワーク(DNN)は画像認識などに限定されるべきだと考えられている。しかし、深層ニューラルネットワークは勾配に基づく階層的表現を構築するためのフレームワークであり、その核心的な特徴は、単に画像行列や音声スペクトログラムに限らず、一般的な構造化データ(すなわち表形式データ)の処理においても最適な性能を発揮できるはずである。この問題は、ヤンデックス・シフトス・チャレンジ(Yandex Shifts challenge)における「天気予報」トラック(別名:Yandex Shifts Weatherタスク)を通じて検討される。このタスクは、古典的な表形式データの回帰問題の一種であり、同時に機械学習における一般化能力と不確実性の取り扱いという重要な課題とも関連している。本論文では、表形式データにおける不確実性を伴う回帰問題を解決するエンド・トゥ・エンド型アルゴリズムを提案する。このアルゴリズムは以下の4つのアイデアの組み合わせに基づいている:1)自己正規化ニューラルネットワーク(Self-Normalizing Neural Networks)の深層アンサンブル、2)ガウス型の目標誤差分布のパラメータ推定としての回帰、3)階層的マルチタスク学習、および4)シンプルなデータ前処理。提案手法の3つの変種が、ヤンデックス・シフトス・ウェザー・チャレンジの順位表上をそれぞれ1位、2位、3位で占め、優れた成果を上げた。本論文は、この成功が深層学習アルゴリズムの根本的な性質に起因していると捉え、その根拠を示す試みを行っている。

より多くのレイヤー!深層学習を用いたテーブルデータにおけるエンドツーエンド回帰と不確実性 | 最新論文 | HyperAI超神経