グループ化されたクエリ アテンション (GQA)

グループ化クエリ アテンション (GQA) は、大規模言語モデル (LLM) におけるマルチクエリ アテンション (MQA) とマルチヘッド アテンション (MHA) の間を補間する手法です。その目標は、MQA の速度を維持しながら MHA の品質を達成することです。

GQA の主な属性は次のとおりです。

• 補間: GQA は MQA と MHA の間の中間方式であり、品質の低下やトレーニングの不安定性などの MQA の欠点を解決します。
• 効率: GQA は、中間の数のキーと値のヘッダーを使用することで、品質を維持しながらパフォーマンスを最適化します。
• トレード・オフ: GQA は、MQA の速度と MHA の品質のバランスをとり、有利なトレードオフを実現します。