الرموز (Tokens) هي أصغر وحدة يقرأها ويكتبها النموذج اللغوي. لا يفهم النموذج "الأحرف" أو "الكلمات" مباشرة، بل يقوم أولاً بتقسيم النص إلى رموز، ثم يحوّلها إلى معرفات عددية (IDs) عبر جدول بحث، ويدخلها إلى الشبكة العصبية. يحدد أسلوب التقسيم مباشرة حجم المفردات، وطول التسلسل، وتكلفة الحوسبة: التقسيم على مستوى الكلمات الكاملة يؤدي إلى تضخم المفردات مع تنوع اللغات وظهور "كلمات غير مسجلة" عند مواجهة كلمات جديدة؛ بينما التقسيم على مستوى الأحرف يجعل التسلسلات طويلة جداً والوحدات الدلالية مجزأة بشكل مفرط.

مصطلح "token" كان في الأصل وحدة التحليل الصرفي في نظرية الترجمة، وسبق ظهور النماذج الكبيرة. في عصر الترجمة الآلية الإحصائية، كانت هذه المشكلة تُعالج جزئياً باستخدام قواعد احتياطية مثل قواميس الرجوع. في عام 2015، أدخل سِنريتش (Sennrich)، وهادو (Haddow)، وبيرش (Birch) في ورقتهم البحثية 《ترجمة الآلة العصبية للكلمات النادرة باستخدام الوحدات دون الكلمة》 نظاماً منظماً للتقسيم دون الكلمة يعتمد على ترميز الزوجات البتية (BPE): حيث تُحفظ الكلمات الشائعة ككلمات كاملة، وتُقسم الكلمات النادرة إلى أجزاء أصغر، بدءاً من الأحرف، مع إحصاء تردد أزواج الرموز المتجاورة، ودمج الزوج الأكثر تكراراً بشكل متكرر حتى تصل المفردات إلى الحجم المحدد مسبقاً، ثم يتم إعادة تجميع الأجزاء دون الكلمة أثناء الترجمة. في مهام الترجمة الإنجليزية-الألمانية والإنجليزية-الروسية في مجموعة WMT15، حسّنت هذه الطريقة من دقة الترجمة بمقدار 1.1 و1.3 درجة BLEU على التوالي مقارنةً بخط الأساس القائم على قواميس الرجوع، مما جعلها عملاً تمثيلياً مهماً لتطبيق رموز دون الكلمة في الشبكات العصبية.

منذ ذلك الحين، أصبحت تقنيات BPE وWordPiece وSentencePiece، التي تنتمي جميعها إلى منهجية التقسيم دون الكلمة، هي السائدة في مقسمات النصوص (Tokenizers) للنماذج الكبيرة. كما تستخدم سلسلة نماذج GPT مقسمات من نوع BPE، حيث يتراوح حجم المفردات عادةً بين عشرات الآلاف إلى مئات الآلاف. حجم المفردات نفسه يمثل مجموعة من المفاضلات: فكلما كبر حجم المفردات، زاد المحتوى المعلوماتي الذي يحمله الرمز الواحد وقصُر التسلسل، لكن مصفوفة التضمين وطبقة الإخراج تكبران أيضاً؛ وكلما صغر حجم المفردات، طالت التسلسلات وزادت تكلفة الحوسبة. ونظراً لأن عدد الرموز يرتبط مباشرة بتكاليف واجهة برمجة التطبيقات (API)، واستهلاك سياق المحادثة، ونفقات الاستدلال، فقد أصبح السؤال "كم رمزاً ستنتج عن تقسيم جملة معينة؟" مسألة هندسية تتطلب حسابات دقيقة.