AAA: تقييم عادل لأنظمة كشف الاستخدام غير المشروع مطلوب

المحتوى الذي يُنشئه المستخدمون على الويب يعجّ باللغة المهينة التي يمكن أن تؤذي الآخرين وتحبط المشاركين. ولذلك، يُعد تطوير أنظمة كشف للإساءة من الأهداف البحثية الأساسية، والتي يمكن استخدامها للتنبيه ودعم المشرفين البشريين في المجتمعات الإلكترونية. وتشتهر هذه الأنظمة بصعوبة تطويرها وتقييمها. حتى عندما تبدو ناجحة من حيث الأداء على مقاييس التقييم الحالية، قد تفشل في الممارسة عند مواجهة بيانات جديدة. ويعود هذا جزئيًا إلى أن المجموعات البيانات المستخدمة غالبًا في هذا المجال تعاني من انحياز في الاختيار، مما يؤدي إلى اعتماد النماذج المدربة تدريبًا مراقبًا بشكل مفرط على كلمات مؤشرة مثل محددات المجموعات (مثل "مثلي" و"أسود") التي ليست بالضرورة مهينة بطبيعتها. وعلى الرغم من الجهود المبذولة لتقليل هذا الانحياز، فإن مقاييس التقييم الحالية لا تقيس بشكل كافٍ تقدم هذه الجهود. في هذه الدراسة، نقدّم استراتيجية تقييم جديدة تُسمى "هجمات عدوانية ضد الإساءة" (AAA)، إلى جانب مقياس مرتبط بها، تُعدّ أفضل في التقاط أداء النموذج على فئات معينة من المنشورات الصغيرة التي يصعب تصنيفها، وتعاقب الأنظمة التي تعاني من انحياز في السمات اللغوية الأساسية. وتحقيقًا لذلك، نقوم بتعديل بيانات التدريب والاختبار بشكل عدائي لتكوين عينات اختبار واقعية بشكل ديناميكي. ونقدّم AAA كأداة سهلة الاستخدام، ونُظهر فعاليتها في تحليل الأخطاء من خلال مقارنة أداء عدة نماذج حديثة متقدمة على مجموعات بيانات متعددة. ستسهم هذه الدراسة في تطوير أنظمة الكشف، وتساهم في مكافحة اللغة المهينة على الإنترنت.