تم تقديم BERT إلى التوقيت الزمني: إدخال نماذج التحويل إلى التسمية الزمنية

تعتبر التعبيرات الزمنية في النص دورًا مهمًا في فهم اللغة، وتحديد هذه التعبيرات بشكل صحيح هو أمر أساسي لمختلف أنظمة الاسترجاع ومعالجة اللغة الطبيعية. لقد انتقلت الدراسات السابقة تدريجيًا من الأنظمة القائمة على القواعد إلى المعماريات العصبية، التي تتمتع بقدرة أعلى على وضع علامات على التعبيرات. ومع ذلك، لا يمكن للنماذج العصبية حتى الآن تمييز أنواع مختلفة من التعبيرات بنفس مستوى دقة نظيراتها القائمة على القواعد. في هذا العمل، نهدف إلى تحديد أكثر معمارية لتحويل البيانات (transformer) ملاءمة لوضع العلامات الزمنية المشتركة تصنيف الأنواع، بالإضافة إلى دراسة تأثير التدريب شبه المشرف عليه (semi-supervised training) على أداء هذه الأنظمة. بناءً على دراستنا لأنواع مختلفة من تصنيف الرموز والمعماريات القائمة على المُشفِّر والمُفكِّك (encoder-decoder)، نقدم نموذج مُشفِّر ومُفكِّك باستخدام نموذج RoBERTa اللغوي كأفضل نظام أداء لدينا. عن طريق إضافة موارد تدريبية مع بيانات ذات تسميات ضعيفة من الأنظمة القائمة على القواعد، يتفوق نموذجنا على الأعمال السابقة في وضع العلامات الزمنية وتصنيف الأنواع، خاصة بالنسبة للأنماط النادرة. يمكن الوصول إلى رمزنا وتجاربنا المدربة مسبقًا عبر الرابط التالي: https://github.com/satya77/Transformer_Temporal_Tagger