BOLT：一般CPUハードウェア上での大規模な検索および推薦モデルのトレーニングおよびデプロイを自動化するディープラーニングフレームワーク

コンシューマー向けCPUハードウェア上で大規模なニューラルネットワークの学習および推論を効率的に行うことは、ディープラーニング（DL）の能力を広く普及させる上で極めて重要な実用的意義を有する。現在、数億から数十億のパラメータを有する巨大モデルの学習には、GPUなどの専用ハードウェアアクセラレータが広範に使用されており、こうしたリソースは財政的余力を持つ少数の機関にしかアクセスできない状況にある。さらに、これらのモデルの学習およびデプロイには、しばしば深刻な炭素足跡が伴うことが問題視されている。本論文では、こうした課題に対処する一歩として、標準的なCPUハードウェア上で大規模な検索および推薦モデルの学習を可能にする、スパースディープラーニングライブラリ「BOLT」を提案する。BOLTは、既存の人気あるDLフレームワークに慣れたユーザーにとって直感的な柔軟性と高レベルなAPIを提供する。また、専用のハイパーパラメータを自動的に最適化することで、スパースネットワーク学習のアルゴリズム的詳細を抽象化する。本研究では、製品推薦、テキスト分類、グラフニューラルネットワーク、パーソナライゼーションを含む複数の情報検索タスクにおいてBOLTを評価した。その結果、本システムは、コストおよびエネルギー消費量を大幅に削減しつつ、最先端技術と同等の性能を達成し、推論速度は1桁以上高速化された。BOLTは複数の企業で実際の業務課題解決に成功裏に導入されており、本論文では電子商取引分野における顧客事例1件を紹介する。