LIDSNet：Deep Siamese Networkを活用した軽量なデバイス内意図検出モデル

意図検出（Intent Detection）は、自然言語理解（NLU）システムにおいて不可欠なタスクであり、タスク指向型対話システムの基盤を成す。エッジデバイス向けの高品質な実世界対話ソリューションを構築するためには、意図検出モデルをデバイス上に配置することが必要となる。これには、リソース制約環境下でも効率的に動作できる軽量・高速・高精度なモデルの採用が求められる。このような課題に対応して、本研究では、より良い文表現を学習するために深層シアンセスネットワーク（Deep Siamese Network）を活用し、メッセージの意図を高精度に予測する新しい軽量型オンデバイス意図検出モデル「LIDSNet」を提案する。本モデルは文字レベルの特徴を用いて文レベルの表現を豊かにし、事前学習済み埋め込みを活用した転移学習の有効性を実証的に示している。さらに、提案アーキテクチャ内の各モジュールの有効性を検証するため、アブレーションスタディを実施し、最適なモデル構成を導き出した。実験結果から、LIDSNetはSNIPSおよびATISの公開データセットにおいて、それぞれ98.00%および95.97%という最先端の精度を達成し、パラメータ数は0.59M未満に抑えることが可能である。さらに、微調整済みBERTモデルと比較したベンチマークでは、Samsung Galaxy S20デバイス上での推論において、MobileBERTと比較して少なくとも41倍軽量かつ30倍高速であることが確認され、リソース制約のあるエッジデバイスにおける高い効率性が裏付けられた。