要約
大規模言語モデル（LLM）は、導入以来、自然言語理解（NLU）および自然言語生成（NLG）の分野で大きな注目を集めている。一方で、キャプセルニューラルネットワーク（CapsNet）の研究成果は、こうした盛り上がりのなかでほとんど忘れ去られつつあった。本研究の目的は、かつて閉鎖されていた研究を再開し、CapsNetの潜在能力に関する新たな調査を行うことで、その関心を再び喚起することにある。本研究では、大規模な多言語データセット上で事前学習済みのBERT埋め込み（bert-base-uncased）を活用し、CapsNetを用いて有害なテキストを分類する手法を提示する。この実験では、CapsNetが有害テキストの分類タスクに取り組んだ。DistilBERT、ヴァナイラニューラルネットワーク（VNN）、畳み込みニューラルネットワーク（CNN）などの他のアーキテクチャと比較した結果、分類精度は90.44％を達成した。この結果は、CapsNetがテキストデータ処理において優れた性能を発揮できることを示しており、DistilBERTや他の低負荷アーキテクチャと同等の性能を実現するための新たな改善手法の可能性を示唆している。