الرمز المميز

التجزئة، والمعروفة أيضًا باسم التحليل المعجمي، هي عملية تحويل الأحرف إلى رموز (سلاسل من الأحرف ذات المعاني التعريفية المرتبطة بها). يُطلق على البرنامج الذي يقوم بالتحليل المعجمي أيضًا اسم المحلل المعجمي أو المُجزئ أو الماسح الضوئي، ولكن الماسح الضوئي هو مصطلح للمرحلة الأولى فقط من المحلل المعجمي. يتم استخدام المحلل المعجمي عادة بالاشتراك مع المحلل، حيث يتم استخدام المحلل بشكل أساسي لتحليل قواعد اللغة الخاصة بلغات البرمجة وصفحات الويب وما إلى ذلك.

التجزئة هي عملية تقسيم وتصنيف أجزاء من سلسلة الإدخال ثم تمرير الرموز الناتجة إلى شكل آخر من المعالجة، والتي يمكن اعتبارها مهمة فرعية من تحليل الإدخال.