HyperAIHyperAI

Command Palette

Search for a command to run...

Schräg angeordnete Entscheidungsbäume aus Ableitungen von ReLU-Netzwerken

Guang-He Lee Tommi S. Jaakkola

Zusammenfassung

Wir zeigen, wie neuronale Modelle eingesetzt werden können, um stückweise konstante Funktionen wie Entscheidungsbäume zu realisieren. Der vorgeschlagene Architekturansatz, den wir lokal konstante Netze nennen, basiert auf ReLU-Netzen, die stückweise linear sind und daher ihre bezüglich der Eingaben abgeleiteten Gradienten lokal konstant sind. Wir etablieren formell die Äquivalenz zwischen den Klassen lokaler konstanter Netze und Entscheidungsbäume. Darüber hinaus weisen wir mehrere vorteilhafte Eigenschaften lokaler konstanter Netze nach, darunter die Realisierung von Entscheidungsbäumen mit Parameterfreigabe über Verzweigungen und Blätter hinweg. Tatsächlich genügen bereits MMM Neuronen, um implizit einen schrägen Entscheidungsbaum mit 2M2^M2M Blättern zu modellieren. Die neuronale Darstellung ermöglicht zudem die Anwendung vieler für tiefe Netze entwickelter Werkzeuge (z. B. DropConnect (Wan et al., 2013)), während Entscheidungsbäume implizit trainiert werden. Wir demonstrieren, dass unsere Methode alternative Techniken zum Training schräger Entscheidungsbäume im Kontext der Klassifikation und Regression molekularer Eigenschaften übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Schräg angeordnete Entscheidungsbäume aus Ableitungen von ReLU-Netzwerken | Paper | HyperAI