Command Palette

Search for a command to run...

4ヶ月前

注意メカニズムを用いたモデルによる話声感情認識における話声感情認識の実証的解釈

{Thomas Hain Speech Rosanna Milner Md AsifJalal}

注意メカニズムを用いたモデルによる話声感情認識における話声感情認識の実証的解釈

要約

話音感情認識は、文脈や意味の理解に影響を与える感情知能を獲得するために不可欠である。調和的に構造化された母音および子音の音声は、話された情報に指標的かつ言語的な手がかりを提供する。これまでの研究では、母音の音声手がかりが心理的・言語的観点から感情的文脈をより効果的に伝えるかどうかについて議論されてきた。また、他の研究では、感情情報がわずかに重複する音響的特徴量に内在している可能性が指摘されている。しかし、これらの主張は、計算機ベースの話音感情認識システムにおいては裏付けられていない。本研究では、注意機構(attention)を用いた畳み込み型モデルと長短期記憶型(LSTM)モデルを用いて、これらの話音感情に関する理論を計算モデル上で検証した。音響的文脈および語の重要性が話音感情認識タスクにおいて果たす役割が明らかになった。提案モデルはIEMOCAPコーパスを用いて評価され、純粋な音響データにおいて80.1%の未加重正解率(unweighted accuracy)を達成し、このタスクにおける現行の最先端モデルを上回った。また、音節(phones)および語(words)が注意ベクトルにマッピングされた結果、母音が子音よりも感情の音響的特徴を定義する上でより重要であることが示され、モデルが音響的文脈に基づいて語の重要性を適切に割り当てていることが確認された。

ベンチマーク

ベンチマーク方法論指標
speech-emotion-recognition-on-iemocapSYSCOMB: BLSTMATT with CSA (session5)
F1: -
UA: 0.740
WA: 0.805

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
注意メカニズムを用いたモデルによる話声感情認識における話声感情認識の実証的解釈 | 論文 | HyperAI超神経