نافذة السياق (Context Window) هي الحد الأقصى لعدد الرموز (tokens) التي يمكن لنموذج اللغة الكبير معالجتها في مرة واحدة، وتُحدد طول النص المُدخل والمُولَّد في كل استدعاء. يحدد هذا الآلية مباشرةً مقدار طول المستندات أو المحادثات أو الأكواد التي يمكن للنموذج قراءتها في مرة واحدة، كما يؤثر على استهلاك ذاكرة الوصول العشوائي للرسوميات (VRAM) وتكلفة الاستنتاج. توسعت النافذة من آلاف الرموز في البداية إلى مئات الآلاف أو حتى ملايين الرموز اليوم، لكنها في جوهرها تمثل "سعة" وليس "قدرة" — فقدرتها على الاستيعاب لا تعني بالضرورة قدرتها على الاستخدام الفعال.

شاع هذا المصطلح مع انتشار نماذج اللغات القائمة على معمارية Transformer: في عام 2020، حددت ورقة بحث GPT-3 حدًا ثابتًا لإدخال 2048 رمزًا، ومنذ ذلك الحين أصبح مصطلح "نافذة السياق" عبارة شائعة لوصف مواصفات النموذج؛ وأصبح حجم النافذة لدى مختلف المطورين بندًا رئيسيًا في جداول مقارنة النماذج.

ومع ذلك، فإن هذا الرقم في جداول المقارنة يشبه أكثر حدًا أقصى للسعة، وقد لا يعكس المستوى الفعلي للاستخدام، فـ "القدرة على الاستيعاب" و"القدرة على الاستخدام الجيد" أمران مختلفان. في عام 2023، أجرى ليو وزملاؤه اختبارًا كلاسيكيًا في ورقة بحثهم 《Lost in the Middle: How Language Models Use Long Contexts》، حيث وجدوا في مهام الإجابة عن الأسئلة متعددة المستندات واسترجاع المفتاح-القيمة أن أداء النموذج يكون أفضل عندما تكون المعلومات الرئيسية في البداية أو النهاية، بينما ينخفض الأداء بشكل ملحوظ عندما تكون المعلومات في منتصف النص الطويل، مشكّلاً منحنى على شكل حرف "U" — ولم تسلم حتى النماذج المتخصصة في السياقات الطويلة من هذه المشكلة. من حيث الآلية، ينمو حجم الحساب في آلية الانتباه القياسية تربيعيًا مع طول التسلسل، كما يتمدد التخزين المؤقت للمفاتيح والقيم (KV cache) خطيًا مع حجم النافذة، وبالتالي فإن "تكبير النافذة" يعني تكاليف أعلى في ذاكرة الوصول العشوائي للرسوميات وزمن الاستجابة؛ ويخفف الباحثون هذه المشكلة باستخدام تقنيات مثل استقراء الترميز الموضعي وضغط الاسترجاع، بينما يكون الحل الهندسي الشائع هو تعزيز الاسترجاع: حيث يتم أولاً تقسيم المستندات الطويلة إلى كتل، واسترجاعها عند الحاجة، ثم وضع المقاطع الأكثر صلة داخل النافذة. الدرس الهندسي واضح: يجب وضع المعلومات الرئيسية في البداية أو النهاية، والمستندات الطويلة يجب أن تمر بمرحلة استرجاع قبل تقديمها للنموذج.