Arbres de décision obliques à partir des dérivées de réseaux ReLU

Nous montrons comment les modèles neuronaux peuvent être utilisés pour réaliser des fonctions constantes par morceaux, telles que les arbres de décision. L’architecture proposée, que nous appelons réseaux localement constants, repose sur des réseaux ReLU qui sont par morceaux linéaires, et dont les gradients associés par rapport aux entrées sont donc localement constants. Nous établissons formellement l’équivalence entre les classes de réseaux localement constants et les arbres de décision. En outre, nous mettons en évidence plusieurs propriétés avantageuses de ces réseaux localement constants, notamment la capacité à représenter des arbres de décision obliques avec partage de paramètres entre les branches et les feuilles. En effet, un simple ensemble de $M$ neurones suffit pour modéliser implicitement un arbre de décision oblique possédant $2^M$ nœuds feuilles. La représentation neuronale permet également d’adopter de nombreux outils développés pour les réseaux profonds (par exemple, DropConnect (Wan et al., 2013)) tout en entraînant implicitement des arbres de décision. Nous démontrons que notre méthode surpasser les techniques alternatives d’entraînement d’arbres de décision obliques dans le cadre de tâches de classification et de régression de propriétés moléculaires.