Neta Glazer Yael Segal-Feldman Hilit Segev Aviv Shamsian Asaf Buchnick Gill Hetz Ethan Fetaya Joseph Keshet Aviv Navon

摘要

可解释性方法近年来受到广泛关注，尤其是在大型语言模型的背景下，有助于揭示语言表征、错误检测以及模型行为（如幻觉和重复）的内在机制。然而，尽管这些技术在自动语音识别（ASR）领域具有巨大潜力，能够推动ASR系统性能与可解释性的双重提升，但相关研究仍处于初步探索阶段。在本研究中，我们系统性地引入并应用了已有的可解释性方法，包括logit lens、线性探测（linear probing）和激活补丁（activation patching），以分析声学与语义信息在ASR系统各层之间的演化过程。实验结果揭示了此前未知的内部动态机制，例如导致重复性幻觉的特定编码器-解码器交互关系，以及深埋于声学表征中的语义偏差。这些发现表明，将可解释性技术拓展并应用于语音识别具有显著价值，为未来提升模型透明度与鲁棒性的研究开辟了富有前景的新方向。