استخدام معالجة اللغة الطبيعية (NLP) في مجال التكنولوجيا المالية واسع ومعقد، حيث تشمل التطبيقات تحليل المشاعر وتحديد الكيانات المسماة وإجابة الأسئلة. أثبتت نماذج اللغات الكبيرة (LLMs) فعاليتها في مجموعة متنوعة من المهام؛ ومع ذلك، لم يتم الإبلاغ عن أي نموذج لغوي كبير متخصص في المجال المالي في الأدبيات العلمية. في هذا العمل، نقدم BloombergGPT، وهو نموذج لغوي يحتوي على 50 مليار معلمة تم تدريبه على نطاق واسع من البيانات المالية. قمنا ببناء مجموعة بيانات تحتوي على 363 مليار رمز (token) مستندة إلى مصادر البيانات الواسعة التي توفرها بلومبرغ، والتي ربما تكون أكبر مجموعة بيانات خاصة بمجال معين حتى الآن، بالإضافة إلى 345 مليار رمز من مجموعات البيانات العامة. قمنا بتحقق BloombergGPT على مقاييس النماذج اللغوية الكبيرة القياسية وعلى مقاييس التكنولوجيا المالية المفتوحة وعلى مجموعة من المقاييس الداخلية التي تعكس بشكل أكثر دقة الاستخدام المقصود لها. يؤدي تدريبنا على مجموعة البيانات المختلطة إلى نموذج يتفوق بشكل كبير على النماذج الموجودة في المهام المالية دون التأثير سلبًا على أدائها في مقاييس النماذج اللغوية الكبيرة القياسية. بالإضافة إلى ذلك، نشرح اختياراتنا النموذجية وعملية التدريب ومنهجيتنا للتقييم. سنقوم بإصدار سجلات التدريب (الملحق ج) التي تتضمن تجربتنا في تدريب BloombergGPT.