الاستدلال (Reasoning) هو عملية الحساب الأمامي وإخراج النتائج لمداخل جديدة بعد اكتمال تدريب النموذج—فهو لا يحدّث الأوزان، بل "يستخدم" فقط المعلمات المكتسبة. بالنسبة للنماذج الكبيرة، ينقسم الاستدلال عادةً إلى مرحلتين: أولاً ترميز كامل النص الموجه بالتوازي (prefill)، ثم توليد رموز token تلو الآخر بطريقة ذاتية الانحدار (decode). تختلف خصائص الموارد في كلتا المرحلتين: مرحلة prefill كثيفة الحساب، بينما مرحلة decode كثيفة الوصول للذاكرة، وبالتالي تختلف تقنيات التحسين لكل منهما.

غالباً ما لا تكمن عنق الزجاجة في الاستدلال في قوة الحوسبة بل في ذاكرة الوصول العشوائي للفيديو (VRAM): يجب على كل طلب تخزين ذاكرة التخزين المؤقت للمفاتيح والقيم (KV cache) التي تنمو باستمرار أثناء التوليد، وإدارتها بشكل سيء يؤدي إلى تشتت كبير وتكرار، مما يحد من عدد الطلبات التي يمكن معالجتها في وقت واحد. في عام 2023، اقترح كوان وآخرون في ورقة بحثية بعنوان 《Efficient Memory Management for Large Language Model Serving with PagedAttention》 تقنية PagedAttention، وقد حققت إطار الاستدلال vLLM الذي يعتمد هذه التقنية زيادة في الإنتاجية تتراوح بين 2 إلى 4 أضعاف بنفس زمن الاستجابة. إن إدارة ذاكرة الوصول العشوائي للفيديو في أنظمة الاستدلال هي في جوهرها مشكلة أنظمة تشغيل. بالإضافة إلى ذلك، تعتبر التكميم، والتقطير المعرفي، وفك التشفير التخميني، والمعالجة الدفعية المستمرة، من التقنيات الشائعة لتسريع الأداء. من خلال استلهام أفكار الذاكرة الافتراضية والترقيم من أنظمة التشغيل، يتم تقسيم ذاكرة التخزين المؤقت للمفاتيح والقيم إلى كتل ذات أحجام ثابتة وربطها عند الطلب، مما يقرب الهدر من الصفر ويدعم المشاركة داخل الطلب الواحد وعبر الطلبات المختلفة.

من منظور هيكل التكلفة، يُعد التدريب استثماراً لمرة واحدة، بينما الاستدلال تكلفة مستمرة. يحدد زمن الاستجابة والإنتاجية في الاستدلال بشكل مباشر إمكانية التوسع في نشر النماذج الكبيرة عملياً، وتعد تحسينات النظام هذه عاملاً حاسماً لتحويل "القابلية للاستخدام" إلى "القدرة على تحمل التكاليف".