HyperAIHyperAI

Command Palette

Search for a command to run...

二重知識蒸留による効率的な音響イベント検出

Xiao Yang ; Das Rohan Kumar

概要

音響イベント検出(SED)は、音響信号内の特定の音とその時間的位置を認識するために不可欠です。特にデバイス上で実行されるアプリケーションでは、計算リソースが限られているため、この課題は難易度が高くなります。本研究では、この問題に対処するため、効率的なSEDシステムを開発する新しいフレームワークとして双方向知識蒸留(Dual Knowledge Distillation)を提案します。提案する双方向知識蒸留は、まず時間平均化知識蒸留(Temporal-Averaging Knowledge Distillation: TAKD)から始まります。これは、学生モデルのパラメータの時間平均を使用して得られる平均学生モデルを利用することで、事前学習された教師モデルから間接的に学習させる方法です。これにより、安定した知識蒸留が保証されます。その後、埋め込み強化特徴量蒸留(Embedding-Enhanced Feature Distillation: EEFD)を導入します。EEFDでは、学生モデル内に埋め込み蒸留層を組み込むことで文脈学習を強化します。DCASE 2023 タスク4A公開評価データセットにおいて、提案する双方向知識蒸留を用いたSEDシステムはベースラインモデルのパラメータ数の3分の1しか持たないにもかかわらず、PSDS1およびPSDS2において優れた性能を示しました。これは、小型のSEDシステムにとって提案手法である双方向知識蒸留が重要な役割を果たすことを示しており、エッジデバイスでの利用に最適であることがわかります。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
二重知識蒸留による効率的な音響イベント検出 | 記事 | HyperAI超神経