Neta Glazer Yael Segal-Feldman Hilit Segev Aviv Shamsian Asaf Buchnick Gill Hetz Ethan Fetaya Joseph Keshet Aviv Navon

要約

最近、解釈可能性（interpretability）手法は特に大規模言語モデルの文脈において注目を集め、言語表現の内側の構造や誤りの検出、ならびに幻覚や繰り返しといったモデル行動の理解に貢献している。しかし、自動音声認識（ASR）分野では、これらの手法の潜在的な価値にもかかわらず、まだ十分に探求されていない。本研究では、既存の解釈可能性手法であるロジットレンズ、線形プローブ、アクティベーションパッチングを適応し、系統的に適用することで、ASRシステムにおける音響情報と意味情報が層間でどのように変化するかを分析した。実験の結果、繰り返し幻覚を引き起こす特定のエンコーダ-デコーダ間の相互作用や、音響表現の深層に埋め込まれた意味的バイアスといった、これまで未知であった内部ダイナミクスが明らかになった。これらの知見は、解釈可能性手法を音声認識に拡張・適用することの意義を示しており、今後のモデルの透明性および堅牢性向上に関する研究において、有望な方向性を提示している。