要約
我々は、まだ十分に検討されていないニューラルネットワークアーキテクチャの一つであるブロックスパース重みを持つネットワーク向けに、高度に最適化されたGPUカーネルをリリースする。これらのカーネルにより、重み行列に柔軟に設定可能なブロックスパースパターンを導入した線形層（特に畳み込み層を含む）の効率的な評価および微分が可能となる。スパース性の程度に応じて、cuBLASを含む現存する最良の代替手法と比較して、処理速度が桁違いに向上することが明らかになった。これらのカーネルを用いることで、テキストセンチメント分析およびテキスト・画像生成モデリングにおいて、現在の最先端技術をさらに上回る成果を達成した。本カーネルをオープンソースとして公開することで、モデル設計およびアルゴリズム開発のさらなる進展を促進することを目的としている。