استكشاف تأثير تنوع المجموعة النصية على نماذج اللغة المُدرَّبة مسبقًا في المجال المالي

على مدار السنوات القليلة الماضية، تم اقتراح العديد من نماذج اللغة المُدرَّبة مسبقًا المُخصصة لمجالات معينة (PLMs) وقد تفوقت على نماذج لغة المُدرَّبة مسبقًا العامة في المجالات المتخصصة مثل المجالات الطبية والعلمية والسريرية. بالإضافة إلى ذلك، تم دراسة نماذج لغة مُدرَّبة مسبقًا في المجال المالي نظرًا للتأثير الاقتصادي الكبير لتحليل البيانات المالية. ومع ذلك، لاحظنا أن النماذج المُدرَّبة مسبقًا في المجال المالي لم تُدرَّب على بيانات مالية متنوعة بما يكفي. ونتيجة لهذا النقص في تنوع بيانات التدريب، تُظهر أداءً عامًا محدودًا، مما يؤدي إلى تفوق النماذج العامة المُدرَّبة مسبقًا، بما في ذلك BERT، على النماذج المالية المُدرَّبة مسبقًا في العديد من المهام اللاحقة. ولحل هذه المشكلة، جمعنا مجموعة واسعة من المجموعات النصية المالية ودرَّبنا نموذج اللغة المالي (FiLM) على هذه المجموعات المتنوعة. تؤكد نتائج تجاربنا أن FiLM يتفوق ليس فقط على النماذج المُدرَّبة مسبقًا المالية الحالية، بل أيضًا على النماذج المُدرَّبة مسبقًا العامة. علاوةً على ذلك، نقدم أدلة تجريبية تُظهر أن هذا التحسين يمكن تحقيقه حتى بالنسبة لمجموعات نصية لم تُرَى من قبل.