سلسلة دروس Deepmoney 2: النماذج المالية الكبرى بناءً على تدريب Deepseek-llm

مقدمة البرنامج التعليمي

تم إنتاج هذا البرنامج التعليمي وإصداره بواسطة مدير مشروع Deepmoney Xingye Yuanyuan في عام 2024. ويهدف إلى تقديم تفسيرات متعمقة للسوق وتحليلات مالية للتعويض عن نقص المعرفة العامة في المجال المالي الفعلي. تحتوي سلسلة دروس Deepmoney على ثلاثة نماذج: Deepmoney-yi-34b و Deepmoney-67b-full و Deepmoney-miqu-70b.يستخدم هذا البرنامج التعليمي Deepmoney-67b-full.

تم تدريب هذا النموذج على أساس Deepseek-llm-67b-base مفتوح المصدر بواسطة Deepseek-AI، وينقسم إلى مرحلتين: تدريب Lora (pt) وضبط Lora الدقيق (sft). على غرار Deepmoney-yi-34b، يستخدم هذا النموذج أيضًا تدريبًا كاملاً للمعلمات لضمان احترافية ودقة النموذج في المجال المالي.

يمكن العثور على النموذجين الآخرين في سلسلة الدروس التعليمية هذه هنا:

* سلسلة النماذج المالية الكبيرة - البرنامج التعليمي 1: Deepmoney-34b-full

* سلسلة النماذج المالية الكبيرة - البرنامج التعليمي 3: Deepmoney-miqu-70b

1. خلفية البحث

تعتمد أغلب النماذج المالية المزعومة اليوم على المعرفة العامة، ولكن في المجال المالي الفعلي، غالباً ما تكون هذه المعرفة العامة غير كافية لتفسير السوق الحالي. إذا كنت مهتمًا، فيمكنك التعرف على المقترحات المختلفة لكينز وفريدمان وحتى التمويل السلوكي الحالي. علاوة على ذلك، يتغير السوق كل لحظة، وتتوفر كمية كبيرة من الأخبار والبيانات الضخمة في الوقت الفعلي. لماذا لا نستخدم نموذجًا كبيرًا لإنشاء خط أنابيب؟ وفي خطة البحث، يعد هذا النموذج هو النموذج الأساسي لهذه العملية. وتعتبر النماذج مثل جامع المعلومات، والحكم على الهدف، والمحلل النوعي، والمحلل الكمي، ومستخرج البيانات، كلها جزء من هذه العملية. ولكن من المهم بلا شك أن يتمكن النموذج نفسه من إتقان مجموعة واسعة من الأساليب النوعية والكمية. ولهذا السبب ولد هذا النموذج.

2. حول البيانات

الكثير من المعرفة العامة مشكوك في صحتها - ولكن هذا لا يعني أنها خاطئة. ويعتمد الدعم النظري للعديد من أساليب البحث في التقارير البحثية أيضًا على هذه المعرفة. لذلك، في التدريب، اختار الباحثون بعض الكتب الجامعية وبعض الكتب المهنية. الكمية ليست كثيرة ولكن الجودة جيدة. بالإضافة إلى ذلك، اختار الباحثون كمية كبيرة من بيانات تقارير الأبحاث من ديسمبر 2019 إلى 2023 - وقد نشرت هذه التقارير من قبل مجموعة متنوعة من الناشرين، بما في ذلك الوسطاء التقليديين ومؤسسات البحث. معظمها مدفوع الأجر ومتاح للمؤسسات فقط.

إذا قرأت تقارير الأبحاث، وخاصة التقارير عالية الجودة، فستجد أن تقارير الأبحاث كلها عبارة عن حكم شخصي + تحليل كمي، وأن دعم البيانات في التحليل الكمي أمر بالغ الأهمية للسلسلة المنطقية بأكملها. لاستخراج هذه البيانات، قمت بإنشاء خط أنابيب يلخص سياق تقرير البحث كجزء من المطالبة.

وأخيرا، قام الباحثون بدمج البيانات. لا يتم تضمين أي بيانات المعرفة العامة لأنه مصمم للجشع. علاوة على ذلك، فإن المعرفة الواردة في تقارير أبحاث الصناعة شاملة بما فيه الكفاية.

س: أولاً، قم بتقسيم تقرير البحث إلى عدة أجزاء حسب الفصول. في سياق ذلك، دعونا نطرح أسئلة حول محتوى تقرير البحث (يمكنك الاستمرار في اختبار المزيد هنا، وتأثير claude3 أفضل). ثم استخدم Nous-Capybara-34B للإجابة على الأسئلة وشظية تقرير البحث المقابلة. السبب في فصل السائل عن المجيب هو منع النموذج من "السؤال والإجابة على نفسه" وعدم الإجابة وفقًا لتقرير البحث ولكن تضمين مخرجاته الخاصة. وهذا يسمح باستخراج المعرفة والأساليب الموجودة في تقارير البحث. بالإضافة إلى ذلك، قام الباحثون باستخراج الأصول الأساسية (إن وجدت) من تقارير البحث باستخدام gpt4 ووضعها في التعليمات. في الاستخدام الذي تصوره البحث، نريد أن نعطي الهدف في التعليمات ومصدر الأخبار الذي يزحف إليه الزاحف في الوقت الحقيقي، جنبًا إلى جنب مع وكيل يطرح الأسئلة تلقائيًا، حتى يتمكن النموذج من التفكير في الشؤون الجارية.

3. حول التدريب

تم تدريب هذا النموذج باستخدام إطار تدريب llama-factory. للاستخدام المحدد، يرجى الرجوع إلى:hiyouga/LLaMA-Factory: توحيد الضبط الدقيق الفعال لأكثر من 100 برنامج ماجستير في القانون (github.com)

يمر هذا النموذج بمرحلتين: pt و sft.

4. تقييم النموذج

دعونا نأخذ عينة من الأحداث الأخيرة، ونحاكي عملية تحليل الأوراق المالية القائمة على الأحداث في العالم الحقيقي، ونجري اختبارًا مقارنًا ضد deepmoney وgpt4. نظرًا لأن تأثير الأحداث على السوق غير مرئي نسبيًا، فمن الصعب تقييم التأثيرات دون عملية اختبار خلفية صارمة. ويجب تحليل مخرجاتنا باستخدام العديد من الأساليب الكمية. ولذلك قام الباحثون بنشر النتائج هنا حتى يتمكن الجميع من إجراء تقييم إدراكي لنتائج الإنتاج. لدى الباحثين نظام عالمي لجمع الأخبار، والذي يحتوي على الكثير من الأخبار في جميع الأوقات. تعمل هذه العملية على إزالة تكرار هذه الأخبار وإصدار أحكام ذاتية وموضوعية، والتي يمكن حلها بواسطة BERT التقليدي. ثم بالنسبة لـ deepmoney، هناك 3 خطوات لمعالجة الأخبار الواردة:

1. ما هي قطاعات الصناعة أو الأهداف الاستثمارية التي قد تتأثر بالأخبار المذكورة أعلاه؟

2. يرجى تصميم طريقة كمية لدراسة تأثير الأخبار المذكورة أعلاه على صناعة ____. وبناءً على ذلك، قم بشرح البيانات التي يجب استخدامها على وجه التحديد.

3. بناءً على البيانات التالية، يرجى _____ تصميم طريقة كمية محددة لتحليل تأثير الأخبار المذكورة أعلاه على صناعة ____ كميًا.

ومن بينها السؤال الأول المتعلق بالحكم الذاتي، واستخراج هدف التأثير الإخباري. ويعتمد هذا بشكل أكبر على قدرة التحليل الذاتي للنموذج. ثم قم باستخراج اسم الصناعة من الإجابة الأولى (بالنسبة لأولئك الذين هم على دراية بالنموذج الكبير، فمن السهل تصميم عملية آلية) وقم بملئه في السؤال الثاني للحصول على بيانات للتحليل الكمي. السبب الذي يجعلنا نسأل عن الأساليب الكمية أولاً ثم البيانات هو سحر COT. الجواب على السؤال الأخير هو ما نحتاجه حقا. إن سياق هذا السؤال يوفر معلومات كافية لتتطلب طريقة كمية دقيقة ومحددة. من خلال الجمع بين النموذج المكتوب بالكود ونموذج استدعاء الوظيفة، يصبح هذا ممكنًا تمامًا إذا كان لديك قاعدة بيانات كبيرة وصغيرة مع قاموس بيانات كامل. الإجابات المذكورة أعلاه هي الإجابات المكونة من ثلاث خطوات من deepmoney و gpt4. لقد حدث هذا الخبر للتو في 20240115 الساعة 9:35 صباحًا بتوقيت بكين.