트랜스포머는 단순한 덧셈 기계이다.

Transformer과 어텐션은 단지 복잡한 덧셈 기계일 뿐이다. 이는 인공지능(AI) 분야에서 최근에 등장한 하위 분야로, 신경망의 내부 메커니즘과 표현을 역공학적으로 분석하여 인간이 이해할 수 있는 알고리즘과 개념으로 변환하려는 연구를 목표로 한다. 이는 기존의 설명 가능 기법인 SHAP(Shapley Additive exPlanations)와 LIME(Locally Interpretable Model-agnostic Explanations)보다 더 깊은 수준의 이해를 제공한다. SHAP과 LIME은 입력 특징이 모델의 예측에 어떤 영향을 미치는지 파악하는 데 초점을 맞추지만, 메커니즘 해석은 네트워크 내에서 특정 특징이 어떻게 학습되고, 어떤 뉴런이 어떤 특징에 반응하는지, 그리고 그 특징이 출력에 어떻게 영향을 주는지를 추적할 수 있다. 이는 단순한 특징 중요도를 넘어, 네트워크의 내부 작동 방식을 파악하는 데 유리하다. Transformer 구조를 살펴보면, 입력 문장은 단어 벡터로 변환되고, 이를 임베딩 매트릭스와 결합하여 벡터 공간으로 매핑된다. 그 후, 위치 인코딩을 더하고, 쿼리(Q), 키(K), 값(V)으로 분할한다. 각 헤드는 선형 변환을 거쳐 어텐션 계산을 수행한다. 이 과정에서 Q와 K의 내적을 계산하고, 이를 V와 곱해 어텐션 결과를 얻는다. 기존의 방법은 이 결과를 헤드별로 연결(concatenate)하여 최종 출력을 생성하지만, 메커니즘 해석에서는 이 단계를 덧셈으로 대체한다. 즉, 각 헤드의 어텐션 결과를 헤드 차원을 따라 더해 최종 출력을 생성한다. 이는 기존의 연결 방법과 수학적으로 동일하지만, 내부 구조를 더 명확하게 이해할 수 있도록 한다. 이 접근법은 흥미로운 가능성을 열어준다. 예를 들어, 기존의 어텐션 메커니즘은 Q, K, V의 내적을 통해 어텐션을 계산하지만, 메커니즘 해석에서는 이를 덧셈으로 재해석함으로써 특징이 레이어를 통해 어떻게 학습되는지 추적할 수 있다. 이는 '회로 추적(circuit tracing)'이라는 개념을 도입하여, 네트워크 내에서 특정 기능이 어떻게 작동하는지를 파악하는 데 도움을 준다. 이 연구는 복잡한 모델을 이해하는 새로운 시각을 제시하며, 특히 트랜스포머와 어텐션 메커니즘을 덧셈의 관점에서 재해석함으로써, 기존의 복잡한 계산을 더 간단하게 설명할 수 있는 가능성을 제시한다. 이는 기계 학습 모델의 내부 작동 원리를 이해하는 데 중요한 단계로, 향후 더 많은 연구와 응용이 기대된다. 이러한 관점은 기존의 어텐션 메커니즘을 병렬화 및 최적화하는 방식으로 이해할 수 있는 새로운 방법을 제시한다. 이는 트랜스포머가 단순한 덧셈 연산을 기반으로 작동한다는 것을 보여주는 중요한 통찰이다. 연구자들은 이에 따라 네트워크의 작동 방식을 더 명확하게 분석하고, 해석 가능한 모델을 개발하는 데 기여할 수 있을 것으로 기대한다. 이에 따라, 인공지능의 투명성과 신뢰성을 높이는 데 중요한 발전으로 평가된다.