Plus de couches ! Régression bout-en-bout et estimation d’incertitude sur des données tabulaires avec le deep learning

Cet article tente d’analyser l’efficacité du deep learning pour le traitement des données tabulaires. On considère généralement que les arbres de décision et leurs ensembles constituent la méthode de prédilection dans ce domaine, tandis que les réseaux neuronaux profonds devraient se contenter de domaines comme la vision par ordinateur. Pourtant, un réseau neuronal profond est un cadre permettant de construire des représentations hiérarchiques basées sur le gradient, une caractéristique clé qui devrait permettre un traitement optimal des données structurées génériques (tabulaires), et non seulement des matrices d’images ou des spectrogrammes audio. Ce problème est étudié à travers le prisme de la piste de prévision météorologique du défi Yandex Shifts (autrement dit, la tâche Yandex Shifts Weather). Cette tâche constitue une variante classique du problème de régression sur données tabulaires. Elle est également liée à un autre problème fondamental : la généralisation et l’incertitude en apprentissage automatique. Cet article propose un algorithme end-to-end pour résoudre le problème de régression avec prise en compte de l’incertitude sur des données tabulaires, fondé sur la combinaison de quatre idées : 1) un ensemble profond de réseaux neuronaux auto-normalisants, 2) la régression comme estimation de paramètres d’une distribution d’erreur cible gaussienne, 3) l’apprentissage hiérarchique multitâche, et 4) un prétraitement des données simple. Trois variantes de cet algorithme ont respectivement occupé les trois premières places du classement du défi Yandex Shifts Weather. L’article considère que ce succès s’explique par les propriétés fondamentales de l’algorithme de deep learning, et cherche à en apporter la preuve.