MAT-SED: マスク付き音響変換器とマスク再構築に基づく事前学習を用いたサウンドイベント検出

音響イベント検出（SED）手法において、大規模な事前学習済みトランスフォーマーエンコーダネットワークを活用することで、最近のDCASEチャレンジで有望な性能が示されています。しかし、時間依存性をモデル化するために依然としてRNNベースのコンテキストネットワークに依存しており、これは主にラベル付きデータの不足によるものです。本研究では、マスク再構築に基づく事前学習を行う純粋なトランスフォーマー基盤のSEDモデルであるMAT-SEDを提案します。具体的には、相対位置エンコーディングを持つトランスフォーマーをまずコンテキストネットワークとして設計し、自己監督的な方法で利用可能なすべてのターゲットデータに対してマスク再構築タスクにより事前学習を行います。エンコーダとコンテキストネットワークは半教師ありの方法で共同ファインチューニングされます。さらに、グローバル-ローカル特徴量融合戦略を提案し、位置特定能力を向上させます。MAT-SEDのDCASE2023タスク4における評価は最新の最先端性能を超え、それぞれPSDS1/PSDS2で0.587/0.896という結果を達成しました。