Transformer架构解析：注意力机制背后的数学本质

一篇新文章指出，Transformer 和注意力机制本质上是“高级加法机器”。该研究属于AI领域的一个新兴子方向——机械解释（mechanistic interpretation），旨在通过逆向解析神经网络的内部机制和表示，将其转化为人类可理解的算法和概念。这比传统的可解释性技术如SHAP和LIME更深入。 SHAP通过计算每个特征对模型预测的贡献，提供局部和全局的解释；LIME则通过扰动输入来近似模型，解释单个预测结果。两者都从特征层面进行分析，帮助理解输入如何影响输出。 而机械解释则更细致，它关注神经网络中不同层的神经元如何学习和处理特定特征，并追踪这些特征如何影响模型最终输出。它回答的是“哪些神经元对哪些特征有反应，特征如何演变并影响结果”。 由于深度网络的可解释性问题，机械解释主要应用于Transformer等复杂模型。其中，多头注意力机制被重新解读，作者认为其本质是加法操作，而非传统理解的乘法和拼接。 文章详细解释了Transformer的结构，包括输入、嵌入、位置编码、QKV矩阵的生成、线性变换、注意力计算等步骤，并展示了如何将多头注意力中的拼接操作替换为加法，最终结果保持一致。 研究指出，这种重新理解方式在数学上是等效的，因为机械解释中的投影权重实际上是传统方法中权重的切片版本。通过加法操作，模型可以更清晰地追踪特征在各层中的演化过程，为可解释性研究提供新思路。