8日前

ColBERT:BERT文埋め込みを並列ニューラルネットワークに活用した計算的ユーモア処理

Issa Annamoradnejad, Gohar Zoghi
ColBERT:BERT文埋め込みを並列ニューラルネットワークに活用した計算的ユーモア処理
要約

ユーモアの検出と評価の自動化は、ヒューマノイドロボット、チャットボット、バーチャルアシスタントなど現代技術において興味深い応用ケースを有する。本論文では、一般的なユーモアに関する言語理論に基づき、短文におけるユーモアの検出と評価を行うための新しいアプローチを提案する。本手法は、入力テキストの文を分割し、BERTモデルを用いて各文の埋め込み(embedding)を生成することから始める。得られた埋め込みは、ニューラルネットワークの別々の隠れ層(各文ごとに1層)に投入され、潜在的特徴量を抽出する。最後に、これらの並列的な特徴線を連結することで、文間の整合性(congruity)やその他の関係性を評価し、目的変数(ユーモアの有無や評価値)を予測する。本研究では、20万件の形式的な短文から構成されるユーモア検出用の新規データセットを公開する。新規データセット上で本手法の性能を評価しただけでなく、スペイン語ツイートにおけるユーモア評価を対象としたライブ機械学習コンペティションにも参加した。提案モデルは、ユーモア検出実験においてF1スコア0.982および0.869を達成し、一般的なモデルおよび最先端モデルを上回る性能を示した。異なる2つの設定における評価結果から、モデルの強靭性と汎用性が確認された。また、本タスクにおいて高い精度を達成する上で重要な2つの要因が明らかになった:1) 文の埋め込みの活用、および2) ユーモアの言語構造をモデル設計に組み込むことの重要性。

ColBERT:BERT文埋め込みを並列ニューラルネットワークに活用した計算的ユーモア処理 | 最新論文 | HyperAI超神経