BOLT: Ein automatisiertes Deep Learning-Framework zur Training und Bereitstellung großskaliger Such- und Empfehlungsmodelle auf herkömmlicher CPU-Hardware

Die effiziente, großskalige Trainings- und Inferenzverarbeitung neuronaler Netze auf herkömmlicher CPU-Hardware hat eine immense praktische Bedeutung für die Demokratisierung von Deep-Learning-(DL-)Fähigkeiten. Derzeit erfordert der Trainingsprozess von massiven Modellen mit Hunderten Millionen bis Milliarden Parametern die umfangreiche Nutzung spezialisierter Hardware-Acceleratoren wie GPUs, die nur einer begrenzten Anzahl von Institutionen mit erheblichen finanziellen Ressourcen zugänglich sind. Zudem ist der Trainings- und Bereitstellungsprozess dieser Modelle oft mit einem alarmierenden CO₂-Fußabdruck verbunden. In diesem Paper gehen wir einen Schritt zur Lösung dieser Herausforderungen, indem wir BOLT vorstellen – eine sparsame Deep-Learning-Bibliothek zur Trainings- und Inferenzverarbeitung großskaliger Such- und Empfehlungsmodelle auf Standard-CPU-Hardware. BOLT bietet eine flexible, hochwertige API zur Modellkonstruktion, die für Nutzer etablierter, populärer DL-Frameworks vertraut ist. Durch die automatische Anpassung spezialisierter Hyperparameter verbergen wir zudem die algorithmischen Details des Trainings sparsamer Netzwerke. Wir evaluieren BOLT an mehreren Aufgaben im Bereich der Informationsretrieval, darunter Produkt-Empfehlungen, Textklassifikation, Graph-Neuronale Netze und Personalisierung. Unser vorgestelltes System erreicht dabei eine wettbewerbsfähige Leistung im Vergleich zu State-of-the-Art-Techniken, jedoch mit einem Bruchteil der Kosten und Energieverbrauchs sowie einer um eine Größenordnung schnelleren Inferenzzeit. BOLT wurde bereits erfolgreich von mehreren Unternehmen zur Lösung kritischer Probleme eingesetzt, und wir präsentieren im Folgenden einen Fallstudienbeispiel aus dem Bereich des E-Commerce.