ConvTextTM: 텍스트 분류를 위한 설명 가능한 컨볼루션 테스탈린 머신 프레임워크

최근 자연어 처리(NLP) 분야의 발전은 다양한 작업에서 인간을 초월하는 성능을 보이는 강력한 언어 모델, 예를 들어 GPT-3와 같은 모델의 등장으로 산업 전반에 큰 변화를 가져왔다. 그러나 이러한 모델의 복잡성 증가는 모델을 ‘블랙 박스’로 만들며, 내부 작동 방식과 의사결정 과정에 대한 불확실성을 초래한다. Tsetlin Machine(TM)은 명제 논리에서 사용 가능한 인간이 이해할 수 있는 논리적 조건문(연결절)을 활용하여 복잡한 패턴 인식 문제를 해결하며, 다양한 NLP 작업에서 경쟁력 있는 성능을 입증해왔다. 본 논문에서는 텍스트 분류를 위한 새로운 컨볼루션 기반 TM 아키텍처인 ConvTextTM을 제안한다. 기존의 TM 솔루션들이 전체 텍스트를 코퍼스에 특화된 단어 집합(set-of-words, SOW)으로 간주하는 반면, ConvTextTM은 텍스트를 텍스트 조각들의 시퀀스로 분해한다. 이 텍스트 조각들에 대한 컨볼루션 연산을 통해 국소적인 위치 인식 분석이 가능해진다. 또한 ConvTextTM은 코퍼스에 특화된 사전에 의존하지 않으며, 대신 양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)의 토큰화 방식을 기반으로 한 일반적인 SOW를 사용한다. 컨볼루션은 토큰들을 연결함으로써, 텍스트 분류 시 토큰의 사전 외 단어(out-of-vocabulary) 문제와 철자 오류를 효과적으로 해결할 수 있다. 제안한 방법의 국소적 해석 가능성은 조건문 기반 특징을 활용하여 분석하였다. 다양한 실험을 통해 7개의 데이터셋에서 ConvTextTM의 정확도가 최첨단 기준 모델과 비교해 우수하거나 유사한 성능을 보임을 입증하였다.