HyperAIHyperAI

Command Palette

Search for a command to run...

キーワードTransformer:キーワードスポットティングのための自己注意モデル

Axel Berg Mark O&#39 Connor Miguel Tairum Cruz

概要

Transformerアーキテクチャは、自然言語処理、コンピュータビジョン、音声認識をはじめとする多くの分野で成功を収めている。キーワードスポットティングにおいては、自己注意(self-attention)は主に畳み込み型または再帰型エンコーダーの上位に用いられてきた。本研究では、Transformerアーキテクチャをキーワードスポットティングに適応する多様な手法を検討し、完全に自己注意構造を採用する「キーワードTransformer(Keyword Transformer, KWT)」を提案する。KWTは事前学習や追加データを一切用いずに、複数のタスクにおいて最先端の性能を上回る。驚くべきことに、畳み込み層、再帰層、注意層を組み合わせたより複雑なモデルよりも、この単純なアーキテクチャが優れた性能を発揮する。KWTはこれらのモデルの即時置き換えとして利用可能であり、Google Speech Commandsデータセットにおいて、12コマンドタスクで98.6%、35コマンドタスクで97.7%の精度を達成し、それぞれ新たなベンチマーク記録を樹立した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています