2ヶ月前

遅速聴覚ストリームによる音声認識

Kazakos, Evangelos ; Nagrani, Arsha ; Zisserman, Andrew ; Damen, Dima
遅速聴覚ストリームによる音声認識
要約

音声認識のための二つのストリームを持つ畳み込みニューラルネットワークを提案します。このネットワークは、時間周波数スペクトログラム入力に対して動作します。視覚認識における同様の成功に従い、分離可能な畳み込みと多段階の横方向接続を使用して、スローファスト聴覚ストリームを学習します。スローパスウェイは高いチャネル容量を持ち、ファストパスウェイは微細な時間解像度で動作します。我々の二つのストリーム提案の重要性を、VGG-Sound および EPIC-KITCHENS-100 という2つの異なるデータセットで示し、両方において最先端の結果を達成しました。