Attention Aux Requêtes Groupées (GQA)

L'attention de requête groupée (GQA) est une méthode qui interpole entre l'attention multi-requêtes (MQA) et l'attention multi-têtes (MHA) dans les grands modèles de langage (LLM).Son objectif est d’atteindre la qualité du MHA tout en maintenant la vitesse du MQA.

Les principaux attributs de GQA comprennent :

• Interpolation:GQA est une méthode intermédiaire entre MQA et MHA, qui résout les lacunes du MQA, telles que la dégradation de la qualité et l'instabilité de la formation.
• efficacité:GQA optimise les performances tout en maintenant la qualité en utilisant un nombre intermédiaire d'en-têtes clé-valeur.
• compromis:GQA établit un équilibre entre la vitesse de MQA et la qualité de MHA, offrant un compromis favorable.