8일 전

ColBERT: 계산적 유머를 위한 병렬 신경망에서 BERT 문장 임베딩 활용

Issa Annamoradnejad, Gohar Zoghi
ColBERT: 계산적 유머를 위한 병렬 신경망에서 BERT 문장 임베딩 활용
초록

유머 감지 및 평가의 자동화는 인간형 로봇, 챗봇, 가상 비서와 같은 현대 기술 분야에서 흥미로운 응용 사례를 가지고 있다. 본 논문에서는 유머에 대한 인기 있는 언어학 이론을 기반으로 짧은 텍스트 내 유머를 감지하고 평가하는 새로운 접근법을 제안한다. 제안된 기술적 방법은 주어진 텍스트의 문장을 분리한 후, BERT 모델을 활용하여 각 문장에 대한 임베딩을 생성하는 것으로 시작한다. 생성된 임베딩은 신경망의 별도의 은닉층 라인(각 문장마다 하나씩)에 입력되어 잠재적 특징을 추출한다. 마지막으로, 병렬로 처리된 라인들을 연결하여 문장 간의 일관성 및 기타 관계를 판단하고 목표 값을 예측한다. 본 논문은 20만 개의 공식적인 짧은 텍스트로 구성된 새로운 유머 감지 데이터셋을 함께 제시한다. 새로운 데이터셋을 기반으로 한 평가 외에도, 스페인어 트윗의 유머 평가에 초점을 맞춘 실시간 머신러닝 경쟁에 참여하였다. 제안된 모델은 유머 감지 실험에서 각각 0.982 및 0.869의 F1 스코어를 기록하며, 일반 모델 및 최첨단 모델을 모두 초월하였다. 서로 대비되는 두 가지 평가 환경에서 수행된 평가 결과는 모델의 강력함과 견고성을 입증하며, 본 작업에서 높은 정확도를 달성하는 데 있어 두 가지 중요한 요소를 시사한다. 첫째, 문장 임베딩의 사용이며, 둘째, 제안된 모델 설계 시 유머의 언어적 구조를 적극적으로 활용하는 것이다.

ColBERT: 계산적 유머를 위한 병렬 신경망에서 BERT 문장 임베딩 활용 | 최신 연구 논문 | HyperAI초신경