그룹화된 쿼리 주의(GQA)

그룹화된 쿼리 어텐션(GQA)은 대규모 언어 모델(LLM)에서 다중 쿼리 어텐션(MQA)과 다중 헤드 어텐션(MHA)을 보간하는 방법입니다.MQA의 속도를 유지하면서 MHA의 품질을 달성하는 것이 목표입니다.

GQA의 주요 속성은 다음과 같습니다.

• 보간: GQA는 MQA와 MHA의 중간적인 방법으로, MQA의 단점인 품질 저하, 학습 불안정성을 해결합니다.
• 능률: GQA는 중간 개수의 키-값 헤더를 사용하여 품질을 유지하면서 성능을 최적화합니다.
• 트레이드 오프: GQA는 MQA의 속도와 MHA의 품질 사이에서 균형을 이루어 유리한 균형을 제공합니다.