مجموعة بيانات لتحليل التخطيطات المعقدة للوثائق في العلوم الإنسانية الرقمية وتقييمها باستخدام معامل كريبندورف ألفا
{Volker Rodehorst Benno Stein Franziska Klemstein David Tschirschwitz}

الملخص
نقدّم موارد بحثية جديدة على شكل مجموعة بيانات عالية الجودة ومخصصة لمجال معين، تُستخدم لتحليل تخطيط المستندات التاريخية. توفر هذه المجموعة بيانات حقيقية لتقسيم المُثَلّ (instance segmentation) عبر 19 فئة، مستمدة من هيكل التخطيط التاريخي الناتج عن (أ) عملية إنتاج النشر والأنواع المرتبطة بها (كالعلوم الحياتية، والهندسة المعمارية، والفن، والفنون الزخرفية، إلخ)، و(ب) من سجلات نصية مختارة (مثل الكتب الأكاديمية، والدوريات التجارية، والمجلات المصورة). تضم المجموعة مجتمعة أكثر من 52,000 مثَلًا تم تسميتها بواسطة خبراء. وقد تم اختبار نموذج أساس (baseline) باستخدام نموذج Mask R-CNN الشهير، ومقارنته بنموذج حديث متقدم (VSR). مستوحين من ممارسات التقييم في مجال معالجة اللغة الطبيعية (NLP)، طوّرنا طريقة جديدة لتقييم اتساق التسميات. تعتمد هذه الطريقة على معامل كريبندورف ألفا (K-α)، وهو مؤشر إحصائي لقياس ما يُعرف بـ "اتفاقية المُقيّمين" (inter-annotator-agreement). ونُقترح تحويلًا مُعدّلًا لـ K-α، يُعامل التسميات كرسم بياني متعدد الأجزاء (multipartite graph) لتقييم اتفاق عدد متغير من المُقيّمين. وتُعد هذه الطريقة قابلة للتعديل حسب درجة الصعوبة في التقييم، ويمكن استخدامها في بعدين أو ثلاثة أبعاد، كما تناسب مجموعة متنوعة من المهام مثل التجزئة الدلالية (semantic segmentation)، والتسمية الفردية (instance segmentation)، وتقسيم سحابات النقاط ثلاثية الأبعاد (3D point cloud segmentation).
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| instance-segmentation-on-texbig-2022-test | VSR (Vison, Semantics and Relation Model) | mAP@0.5:0.95:0.05: 65.8 |
| object-detection-on-texbig-2022-test | VSR (Vison, Semantics and Relation Model) | mAP@0.5:0.95:0.05: 75.9 |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.