تمثّل مهمة تحديد المعنى في الكلمات (Word Sense Disambiguation) مهمةً منذ زمن طويل في معالجة اللغة الطبيعية، وتقع في صميم فهم اللغة البشرية. ومع ذلك، ظلّ تقييم النظم الآلية مُشكلاً، وذلك بشكل رئيسي بسبب غياب إطار تقييم موثوق. في هذا البحث، نطوّر إطاراً موحداً للتقييم ونحلل أداء أنظمة مختلفة لتحديد معنى الكلمات ضمن بيئة عادلة. تُظهر النتائج أن الأنظمة المُدرَّبة بأسلوب مراقبة (supervised) تتفوّق بوضوح على النماذج القائمة على المعرفة (knowledge-based). وبالنسبة للأنظمة المُدرَّبة بأسلوب مراقبة، تظل الفئة الخطية المدربة على الخصائص المحلية التقليدية تمثّل قاعدة صعبة التغلب عليها. ومع ذلك، تحقّق النهج الحديثة التي تستفيد من الشبكات العصبية على مجموعات نصية غير مُصنّفة نتائج واعدة، وتتجاوز هذه القاعدة الصعبة في معظم مجموعات الاختبار.