Yang Wang Chenghao Xiao Chia-Yi Hsiao Zi Yan Chang Chi-Li Chen Tyler Loakman Chenghua Lin

الملخص

نُقدّم "درايفيلولوجيا" (Drivelology)، ظاهرة لغوية فريدة تُعرّف بأنها "هَرَجٌ بعمق"، أي تعبيرات تكون صيغتها النحوية متماسكة، لكنها تُظهر تناقضًا سياقيًا أو عاطفيًا مكثفًا، أو دلالة رhetoricalًا مُعاكسة للسائد. وعلى الرغم من أن هذه التعبيرات قد تشبه في الظاهر الهَرَجَ السطحي، إلا أنها تحمل معاني ضمنية تتطلب استنتاجًا سياقيًا، أو تفكيرًا أخلاقيًا، أو تفسيرًا عاطفيًا. ونلاحظ أن النماذج الكبيرة للغة (LLMs)، رغم تفوقها في العديد من مهام معالجة اللغة الطبيعية (NLP)، تفشل بشكل متكرر في فهم البنية الدلالية المتعددة الطبقات للنصوص الدرايفيلولوجية. ولدراسة هذه الظاهرة، قمنا ببناء مجموعة بيانات معيارية صغيرة لكنها متنوعة، تضم أكثر من 1200 مثالًا مُعدّة بعناية، مع تضمين أمثلة مختارة باللغات الإنجليزية، والصينية، والإسبانية، والفرنسية، واليابانية، والكورية. وقد كان التصنيف مُحَدِّدًا بشكل خاص: إذ تطلب كل مثال مراجعة دقيقة من خبراء لتأكيد أنه يعكس بالفعل الخصائص الدرايفيلولوجية. وقد اشتمل هذا الإجراء على جولات متعددة من المناقشة والتحكيم لحل الخلافات، مما يبرز الطبيعة الدقيقة والذاتية لظاهرة الدرايفيلولوجيا. وقد قُمنا بتقييم مجموعة متنوعة من النماذج الكبيرة للغة في مهام التصنيف، والتكوين، والاستنتاج. وأظهرت النتائج تقييدات واضحة في أداء هذه النماذج: فغالبًا ما تخلط بين الدرايفيلولوجيا والهَرَج السطحي، وتُنتج تبريرات غير متماسكة، أو تُهمل الوظيفة الرhetorical المُشَكَّلة تمامًا. تُبرز هذه النتائج فجوة تمثيلية أعمق في فهم النماذج الكبيرة للغة للسياقية، وتحدى الافتراض القائل بأن السلاسة الإحصائية تعني فهمًا ذهنيًا. ونُطلق مجموعتنا البيانات وشفرات البرمجة لتمكين الأبحاث المستقبلية في نمذجة العمق اللغوي الذي يتجاوز التماسك السطحي.