사전 훈련된 BERT 임베딩을 활용한 캡슐 신경망의 유해 댓글 분류 효과성 평가

대규모 언어 모델(Large language models, LLMs)이 자연어 이해(Natural language understanding, NLU) 및 자연어 생성(Natural language generation, NLG) 분야에서 소개된 이후 큰 관심을 끌고 있다. 반면, 캡슐 신경망(Capsule Neural Networks, CapsNet)의 유산은 이러한 열기 속에서 거의 잊혀진 듯한 모습을 보이고 있다. 본 연구의 목적은 기존에 닫혀 있던 연구를 재개하고, CapsNet의 잠재력을 탐색하는 새로운 연구를 통해 CapsNet에 대한 관심을 되살리는 것이다. 본 연구에서는 대규모 다국어 데이터셋을 기반으로 사전 학습된 BERT 임베딩(bert-base-uncased)을 활용하여 CapsNet을 유해 텍스트 분류에 적용하는 사례를 제시한다. 이 실험에서 CapsNet은 유해 텍스트를 분류하는 임무에 직면하게 되었으며, DistilBERT, 일반 신경망(Vanilla Neural Networks, VNN), 합성곱 신경망(Convolutional Neural Networks, CNN)과 같은 다른 아키텍처들과의 성능을 비교함으로써 90.44%의 정확도를 달성하였다. 이 결과는 CapsNet이 텍스트 데이터 처리에 있어 유리한 점을 보여주며, DistilBERT 및 기타 축소형 아키텍처와 경쟁 가능한 성능을 발휘할 수 있도록 향상시킬 수 있는 새로운 방향성을 제시한다.