音声言語理解（Spoken Language Understanding, SLU）は自然言語処理分野における広範な応用タスクである。事前学習済みBERTモデルの成功に伴い、自然言語理解（NLU）は意図分類（Intent Classification）とスロットフィリング（Slot Filling）という2つのタスクに分解され、顕著な性能向上が達成された。しかし、NLUにおけるクラス不均衡問題については十分に検討されておらず、特に意味解析（Semantic Parsing）データセットではこの問題が頻発する。本研究は、こうした問題の軽減に焦点を当てる。我々は、BERTをベースとした新規アーキテクチャ「JointBERT Classify Anonymous Entity（JointBERT-CAE）」を提案する。このアーキテクチャは、ATIS、Snips、ATISベトナム語版、および代表的な固有表現抽出（Named Entity Recognition, NER）データセットCoNLL2003の3つの意味解析データセットおよび1つのNERデータセットにおいて、システム性能の向上を実現した。JointBERT-CAEでは、従来のスロットフィリングタスクを、2つのサブタスクに分割するマルチタスク統合学習（joint-learning）を採用している。具体的には、シーケンスタグGINGにより「匿名エンティティ（Anonymous Entity）」を検出するタスクと、検出された匿名エンティティを分類するタスクの2つに分離する。実験結果から、すべてのデータセットにおいてBERTベースのモデルと比較して、JointBERT-CAEは顕著な性能向上を示した。さらに、シーケンスタグGING技術を活用する他の自然言語処理タスクへの広範な適用可能性も示された。