일반지식QA에서 인간 수준의 성능 달성: 외부 주의를 통한 자기 주의 강화

오늘날의 대부분의 인공지능 시스템은 방대하고 다양한 데이터를 기반으로 자가 주의(자기주의) 메커니즘과 트랜스포머 아키텍처를 활용하여 놀라운 성능 향상을 달성하고 있다. 본 논문에서는 기존 트랜스포머 아키텍처에 외부 주의 메커니즘을 추가하여 외부 지식과 맥락을 시스템에 통합하는 방안을 제안한다. 예측 과정에 외부 정보를 통합함으로써, 점점 더 큰 모델에 의존하는 것의 필요성을 줄이고, 인공지능 시스템의 민주화를 촉진하고자 한다. 제안하는 외부 주의 메커니즘이 기존 인공지능 시스템의 성능을 크게 향상시킬 수 있음을 확인하였으며, 이는 실무자들이 기초 인공지능 모델을 다양한 하류 응용 분야에 쉽게 맞춤화할 수 있음을 의미한다. 특히, 보편지식 추론(commonsense reasoning) 문제에 초점을 맞추어, 제안된 외부 주의 메커니즘이 기존 트랜스포머 모델을 보완하고 모델의 추론 능력을 크게 향상시킬 수 있음을 입증하였다. 본 연구에서 제안한 시스템인 보편지식 기반 외부 주의 모델(Knowledgeable External Attention for commonsense Reasoning, KEAR)은 개방형 보편지식QA 연구 벤치마크에서 89.4%의 정확도를 기록하여 인간의 정확도(88.9%)와 동등한 성능을 달성하였다.