ليس لديك فكرة من أين تبدأ البحث الأكاديمي؟ 27 خطأ في التعلم الآلي يجب تجنبها حتى تتمكن من نشر ورقتك البحثية دون أي التفافات
تم نشر هذه المقالة لأول مرة على الحساب الرسمي لـ WeChat: HyperAI
المحتويات في لمحة:إذا كنت جديدًا في مجال التعلم الآلي وتأمل في إجراء بحث أكاديمي في هذا المجال في المستقبل، فلا تفوت "دليل تجنب الأخطاء" هذا المصمم خصيصًا لك.
الكلمات المفتاحية:معيار البحث الأكاديمي في مجال التعلم الآلي
كيف يمكن لمبتدئ في مجال التعلم الآلي تجنب الأخطاء ونشر ورقته بسلاسة؟
نشر الأستاذ المشارك مايكل أ. لونيس من كلية الرياضيات وعلوم الكمبيوتر بجامعة هيريوت وات في اسكتلندا ورقة بحثية في عام 2021 - "كيفية تجنب أخطاء التعلم الآلي: دليل للباحثين الأكاديميين"،سيتم مناقشة هذا الأمر بالتفصيل.
اقرأ الورقة كاملة (V2):
في هذه الورقة، ينطلق المؤلف من منظور البحث الأكاديمي، ويجمع بين خبرته البحثية العلمية وخبرته التدريسية، ويتضمن الرابط الكامل لاستخدام تكنولوجيا التعلم الآلي.تحدث بشكل متكرر وتتطلب اهتمامًا خاصًا 5 المشاكل الرئيسية والحلول المقترحة المقابلة لها.
الأشخاص المعنيون:
الطلاب أو العلماء الجدد نسبيًا في مجال التعلم الآلي والذين لديهم فقط معرفة أساسية بالتعلم الآلي
نصائح لطيفة:تسلط هذه المقالة الضوء على القضايا ذات الاهتمام المشترك في المجتمع الأكاديمي، مثل كيفية تقييم النماذج ومقارنتها بدقة حتى يمكن نشر الأوراق البحثية بنجاح.
بعد ذلك، سوف نتابع العملية الكاملة لتدريب نموذج التعلم الآلي ونصفها على مراحل.
المرحلة 1: قبل إنشاء النموذج
يرغب العديد من الطلاب في تدريب النموذج وتقييمه منذ البداية، وغالبًا ما يتجاهلون "الواجب المنزلي" الأكثر أهمية.تتضمن هذه "الواجبات المنزلية" ما يلي:
*ما هو هدف المشروع؟
* ما نوع البيانات اللازمة لتحقيق هذا الهدف؟
* هل هناك أية قيود على البيانات؟ إذا كان الأمر كذلك، فكيف يمكن حلها؟
* ما هو التقدم الذي أحرزته الأبحاث والتطوير في هذا المجال وما الذي تم إنجازه؟
إذا لم يتم تنفيذ هذه الأعمال التمهيدية بشكل جيد وتم التسرع في تشغيل النموذج، فمن المحتمل في النهاية أن النموذج لن يكون قادرًا على إثبات الاستنتاجات المتوقعة ولن يتم نشر العمل البحثي العلمي.
1.1 فهم البيانات وتحليلها
إن مصادر البيانات موثوقة، وطرق جمع البيانات علمية، وجودة البيانات عالية، مما سيكون له فائدة كبيرة في نشر الأوراق البحثية. ومن المهم أن نلاحظ هنا أنقد لا تكون مجموعة البيانات المستخدمة على نطاق واسع ذات جودة جيدة بالضرورة، ولكن قد يكون ذلك أيضًا بسبب سهولة الوصول إليها.قبل تحديد البيانات، يتم إجراء بعض التحليلات الاستكشافية للبيانات لإزالة قيود البيانات.
1.2 لا تنظر إلى جميع البيانات، افصل بيانات الاختبار قبل البدء
يعد تسرب المعلومات من مجموعة الاختبار إلى عملية التدريب أحد الأسباب الشائعة لفشل نماذج التعلم الآلي في التعميم.ولتحقيق هذه الغاية، أثناء مرحلة تحليل استكشاف البيانات، لا تنظر إلى بيانات الاختبار بعناية شديدة لتجنب القيام عمدًا أو عن غير قصد بإصدار افتراضات غير قابلة للاختبار تحد من إمكانية تعميم النموذج.
نصائح لطيفة:من المقبول إجراء افتراضات، ولكن ينبغي دمج هذه الافتراضات فقط في تدريب النموذج، وليس في اختباره.
1.3 إعداد بيانات كافية
قد يؤدي عدم كفاية البيانات إلى تقليل التعميم وتنوع النموذج، والذي يعتمد على نسبة الإشارة إلى الضوضاء (SNR) لمجموعة البيانات. في مجال أبحاث التعلم الآلي،المشكلة الشائعة هي عدم كفاية حجم البيانات. وفي هذه الحالة، يمكن تحسين توفر البيانات الموجودة من خلال التحقق المتبادل وتعزيز البيانات وغيرها من التقنيات.
1.4 اطلب المشورة من الخبراء في هذا المجال بشكل نشط
يتمتع الخبراء في هذا المجال بخبرة بحثية علمية غنية.ويمكن أن يساعدنا ذلك في تحديد المشكلات التي تحتاج إلى حل، ومجموعات الميزات ونماذج التعلم الآلي الأكثر ملاءمة، وتوجيه نشر نتائج أبحاثنا.يحقق ضعف النتيجة بنصف الجهد.
1.5 قم بعمل جيد في البحث الأدبي
إن التقدم العلمي هو عملية تكرارية، حيث تقدم كل دراسة معلومات توجه الدراسة التالية.من خلال تجاهل الأبحاث السابقة، فمن المرجح أن تفوتك معلومات قيمة.بدلاً من إرهاق عقلك في محاولة شرح سبب دراستك لنفس الموضوع ولماذا لا تبدأ البحث بناءً على النتائج الموجودة عندما تكتب بحثك، فمن الأفضل إجراء مراجعة للأدبيات قبل البدء في العمل.
1.6 فكر في نشر النموذج مسبقًا
إذا كان الهدف النهائي للبحث الأكاديمي هو إنشاء نموذج التعلم الآلي الذي يمكن نشره في العالم الحقيقي،يجب عليك مراعاة مشكلات النشر في أقرب وقت ممكن.مثل تأثير القيود البيئية على تعقيد النموذج، وما إذا كانت هناك حدود زمنية، وكيفية التكامل مع نظام البرمجيات، وما إلى ذلك.
المرحلة الثانية: إنشاء النماذج بشكل موثوق
من المهم إنشاء النماذج بطريقة منظمة حتى نتمكن من استخدام البيانات بشكل صحيح واتخاذ خيارات نموذجية مدروسة جيدًا.
2.1 لا يمكن استخدام بيانات الاختبار في تدريب النموذج
بمجرد مشاركة بيانات الاختبار في تكوين النموذج أو تدريبه أو تحديده، فسوف تؤثر بشكل كبير على موثوقية البيانات وتنوعها. وهذا أيضًا سبب شائع لعدم إمكانية تطبيق نماذج التعلم الآلي المنشورة على البيانات في العالم الحقيقي.
❎ أمثلة على الأخطاء (تجنبها):
* أثناء إعداد البيانات، استخدم معلومات المتوسط والنطاق للمتغيرات في مجموعة البيانات بأكملها لقياس المتغيرات (النهج الصحيح هو القيام بذلك فقط في بيانات التدريب)
* قم بإجراء تحديد الميزة قبل تقسيم البيانات
* تقييم إمكانية تعميم نماذج متعددة باستخدام نفس بيانات الاختبار
* تطبيق زيادة البيانات قبل تقسيم بيانات الاختبار
من أجل تجنب المشاكل المذكورة أعلاه،الطريقة الأفضل هي تقسيم مجموعة فرعية من البيانات قبل بدء المشروع.وفي نهاية المشروع، سيتم استخدام مجموعة الاختبار المستقلة هذه فقط لاختبار إمكانية تعميم نموذج واحد.
نصائح لطيفة:ينبغي التعامل مع بيانات السلاسل الزمنية بعناية خاصة، حيث أن الانقسامات العشوائية للبيانات يمكن أن تؤدي بسهولة إلى التسرب والإفراط في الملاءمة.
2.2 جرب عدة نماذج مختلفة
لا يوجد نموذج عالمي للتعلم الآلي في العالم. عملنا البحثي هو العثور على نموذج التعلم الآلي المناسب لمشاكل محددة. مكتبات التعلم الآلي الحديثة مثل Python وR وJulia وما إلى ذلك.من خلال إجراء تغييرات بسيطة على الكود، يمكنك تجربة نماذج متعددة للعثور على النموذج الأكثر فعالية.
نصائح لطيفة:
* لا تستخدم نماذج غير مناسبة، استخدم مجموعة التحقق بدلاً من مجموعة الاختبار لتقييم النموذج
* عند مقارنة النماذج، قم بتحسين المعلمات الفائقة للنموذج وأداء تقييمات متعددة، وقم بتصحيح المقارنات المتعددة عند نشر النتائج.
2.3 لا تستخدم نماذج غير مناسبة
لقد خفضت مكتبات التعلم الآلي الحديثة عتبة تنفيذ التعلم الآلي، ولكنها تسهل علينا أيضًا اختيار نماذج غير مناسبة، مثل تطبيق نموذج مناسب للميزات التصنيفية على مجموعة بيانات تحتوي على ميزات عددية، أو استخدام نموذج تصنيف عندما يجب استخدام نموذج الانحدار.عند اختيار نموذج، حاول اختيار النموذج الذي يناسب حالة الاستخدام قدر الإمكان.
2.4 التعلم العميق ليس الحل الأمثل في بعض الأحيان
على الرغم من أن الشبكات العصبية العميقة (DNNs) تعمل بشكل جيد في بعض المهام،ولكن هذا لا يعني أن DNN مناسب لجميع المشاكل.وخاصة عندما تكون البيانات محدودة، أو النمط الأساسي بسيط للغاية، أو يحتاج النموذج إلى أن يكون قابلاً للتفسير، فقد لا يعمل DNN بشكل جيد مثل بعض نماذج التعلم الآلي القديمة، مثل الغابة العشوائية وSVM.
2.5 تحسين معلمات النموذج الفائقة
تتمتع المعلمات الفائقة بتأثير كبير على أداء النموذج وغالبًا ما تحتاج إلى تعديلها لتناسب مجموعة البيانات المحددة. قد لا يكون الاختبار بدون هدف هو الطريقة الأفضل للعثور على المعلمات الفائقة الصحيحة.من المستحسن استخدام استراتيجيات تحسين المعلمات الفائقة مثل البحث العشوائي والبحث الشبكي.
نصائح لطيفة:بالنسبة للنماذج التي تحتوي على عدد كبير من المعلمات الفائقة أو تكاليف التدريب العالية، فإن هذه الاستراتيجيات غير قابلة للتطبيق. يمكن استخدام تقنيات مثل AutoML وأنابيب استخراج البيانات لتحسين اختيار النماذج ومعلماتها الفائقة.
2.6 كن حذرًا للغاية عند تحسين المعلمات الفائقة واختيار الميزات
يعد تحسين المعلمات الفائقة واختيار الميزات جزءًا من تدريب النموذج. لا تقم بإجراء اختيار الميزة على مجموعة البيانات بأكملها قبل بدء تدريب النموذج، حيث سيؤدي هذا إلى تسرب المعلومات من مجموعة الاختبار إلى عملية التدريب. تحسين المعلمات أو الميزات الفائقة للنموذج،من الأفضل استخدام نفس البيانات التي استخدمتها لتدريب النموذج، وهناك تقنية شائعة وهي التحقق المتبادل المتداخل (يُسمى أيضًا التحقق المتبادل المزدوج).
المرحلة 3: تقييم النموذج بشكل قوي
يعتبر تقييم النموذج غير المناسب أمرًا شائعًا جدًا ويعيق تقدم البحث الأكاديمي. لذلك،يجب التفكير بعناية في كيفية استخدام البيانات في التجارب، وكيفية قياس الأداء الحقيقي للنموذج، وكيفية الإبلاغ عنه.
3.1 استخدم مجموعة اختبار مناسبة
استخدم مجموعة اختبار لقياس مدى قابلية تعميم نموذج التعلم الآلي لديك وللتأكد من أن البيانات الموجودة في مجموعة الاختبار مناسبة.يجب ألا تتداخل مجموعة الاختبار مع مجموعة التدريب ويجب أن تغطي نطاقًا أوسع من الظروف. على سبيل المثال، بالنسبة لمجموعة بيانات فوتوغرافية لكائن ما، إذا تم جمع كل من مجموعة التدريب ومجموعة الاختبار في الهواء الطلق في يوم مشمس، فإن مجموعة الاختبار ليست مستقلة لأنها لا تلتقط نطاقًا أوسع من الظروف الجوية.
3.2 لا تقم بزيادة البيانات قبل تقسيمها
تساعد زيادة البيانات على موازنة مجموعة البيانات وتحسين عمومية ومتانة نماذج التعلم الآلي.تجدر الإشارة إلى أنه يجب تطبيق زيادة البيانات على مجموعة التدريب فقط وليس مجموعة الاختبار لمنع الإفراط في التجهيز.
3.3 استخدام مجموعة التحقق
يتم استخدام مجموعة تحقق منفصلة لقياس أداء النموذج، والتي تحتوي على مجموعة من العينات التي لا يتم استخدامها بشكل مباشر للتدريب ولكن يتم استخدامها لتوجيه التدريب. هناك فائدة أخرى لمجموعة التحقق من الصحة وهي أنها تسمح بالتوقف المبكر.
3.4 تقييم النموذج عدة مرات
إن تقييمًا واحدًا للنموذج ليس موثوقًا به.قد يقلل أو يبالغ في تقدير الأداء الحقيقي للنموذج،وللقيام بذلك، يجب تقييم النموذج عدة مرات، وهو ما ينطوي عادةً على تدريب النموذج عدة مرات باستخدام مجموعات فرعية مختلفة من بيانات التدريب. التحقق المتبادل هو أسلوب شائع بشكل خاص مع العديد من الأنواع، مثل التحقق المتبادل العشري.
نصائح لطيفة:عند الإبلاغ عن المتوسطات والانحرافات المعيارية للتقييمات المتعددة، يوصى بالاحتفاظ بنتيجة واحدة للمقارنات اللاحقة للنماذج باستخدام الاختبارات الإحصائية.
3.5 احتفظ ببعض البيانات لتقييم نموذج المثيل النهائي
أفضل طريقة لتقييم قابلية تعميم حالات النموذج بشكل موثوق،ربما فقط استخدم مجموعة اختبار أخرى.لذلك، إذا كانت كمية البيانات كبيرة بما يكفي، فمن الأفضل حجز جزء منها واستخدامها لإجراء تقييم غير متحيز على نموذج المثيل النهائي المحدد.
3.6 لا تستخدم الدقة لمجموعات البيانات غير المتوازنة
كن حذرًا عند اختيار المقاييس لتقييم نماذج التعلم الآلي. على سبيل المثال، المقياس الأكثر استخدامًا لنماذج التصنيف هو الدقة، وهو ما يعمل بشكل جيد إذا كانت مجموعة البيانات متوازنة (كل فئة لها عدد مماثل من ممثلي العينة في مجموعة البيانات). ومع ذلك، يمكن أن تكون الدقة مقياسًا مضللًا للغاية إذا كانت مجموعة البيانات غير متوازنة.
في هذه الحالة،من الأفضل استخدام مؤشرات غير حساسة لاختلال حجم الفصل، مثل درجة F1، أو معامل كابا كوهين (κ)، أو معامل ارتباط ماثيوز (MCC).
المرحلة الرابعة: مقارنة النماذج بشكل عادل
إن مقارنة النماذج أمر أساسي في البحث الأكاديمي، ولكن إذا تمت المقارنات بطريقة غير عادلة ونشرت، فإنها ستضلل الباحثين الآخرين. لذا،يجب عليك التأكد من تقييم نماذج مختلفة في ظل نفس الظروف واستخدام الاختبارات الإحصائية بشكل مناسب.
4.1 بالنسبة للنماذج، كلما زاد الرقم، كان الأداء أفضل.
تظهر هذه العبارة غالبًا في البحث: "كانت دقة الدراسة السابقة 94%، ودقة هذا النموذج تصل إلى 95%، لذا فهو أفضل". تشير أسباب مختلفة إلى أنرقم أعلى لا يعني نموذجًا أفضل،إذا تم تدريب النماذج أو تقييمها على أقسام مختلفة من نفس مجموعة البيانات، فقد يكون فرق الأداء صغيرًا؛ إذا تم استخدام مجموعات بيانات مختلفة تمامًا، فقد يكون فرق الأداء هائلاً. إن عدم القيام بنفس القدر من تحسين المعلمات الفائقة يمكن أن يساهم أيضًا في الاختلافات في أداء النموذج.
لذلك، من أجل المقارنة العلمية لأداء النموذجين،ينبغي تحسين النماذج إلى نفس الدرجة وتقييمها عدة مرات، مع استخدام الاختبارات الإحصائية لتحديد ما إذا كانت الاختلافات في الأداء كبيرة.
4.2 مقارنة النماذج باستخدام الاختبارات الإحصائية
من المستحسن استخدام الاختبارات الإحصائية لمقارنة الاختلافات في الأداء بين نموذجين. وبشكل عام، تنقسم الاختبارات المستخدمة لمقارنة نماذج التعلم الآلي إلى فئتين:يتم استخدام الفئة الأولى لمقارنة حالات النموذج المتشابهة.على سبيل المثال، عند مقارنة شجرتي قرار مدربتين، يمكن استخدام اختبار ماكنمار؛الفئة الثانية مناسبة للمقارنات بين النماذج الأكثر عمومية.على سبيل المثال، عند مقارنة شجرة القرار أو الشبكة العصبية الأكثر ملاءمة، يتم استخدام اختبار مان-ويتني يو.
4.3 تصحيح للمقارنات المتعددة
إن مقارنة أكثر من نموذجين باستخدام الاختبارات الإحصائية أمر معقد إلى حد ما. تتشابه الاختبارات الزوجية المتعددة مع استخدام مجموعة الاختبار عدة مرات، وهو ما قد يؤدي إلى تفسيرات مفرطة في التفاؤل فيما يتعلق بالأهمية.
من المستحسن استخدام تصحيح الاختبار المتعدد، مثل تصحيح بونفيروني، لمعالجة هذه المشكلة.
4.4 لا تثق بمعايير المجتمع كثيرًا
بالنسبة للمشكلات في مجالات معينة، سيختار العديد من الأشخاص مجموعات البيانات المعيارية لتقييم أداء نماذج التعلم الآلي الجديدة، لأن الجميع يستخدمون نفس البيانات لتدريب النماذج واختبارها، وبالتالي ستكون المقارنة أكثر سهولة. إن هذا النهج له بعض العيوب الرئيسية.
أولاً، إذا كان الوصول إلى مجموعة الاختبار غير محدود، فلا يوجد ضمان بأن الآخرين لم يستخدموها كجزء من عملية التدريب الخاصة بهم، وهو ما قد يؤدي إلى الإفراط في التفاؤل في النتائج. علاوة على ذلك، حتى لو استخدم كل شخص يستخدم البيانات مجموعة الاختبار مرة واحدة فقط، فإن مجموعة الاختبار بشكل عام تم استخدامها عدة مرات من قبل المجتمع، وهو ما قد يؤدي أيضًا إلى الإفراط في ملاءمة النموذج.ولتحقيق هذه الغاية، ينبغي تفسير نتائج مجموعات البيانات المعيارية بحذر، وإصدار أحكام معقولة بشأن تحسينات الأداء.
المرحلة 5: الإبلاغ عن النتائج
يجب أن يساهم البحث الأكاديمي في المعرفة.ويتطلب هذا إعداد تقارير عن الحالة العامة لأعمال البحث، بما في ذلك الجهود التي نجحت والتي لم تنجح.غالبًا ما يرتبط التعلم الآلي بالمقايضات، ومن النادر أن يكون أحد النماذج أفضل من الآخر في جميع الجوانب. لذا يتعين أن ينعكس هذا الأمر عند الإبلاغ عن النتائج.
5.1 يجب أن تكون التقارير شفافة
مشاركة كافة أعمال البحث بشفافية.وهذا يجعل من الأسهل على الآخرين تكرار التجربة ويجعل من السهل على الناس مقارنة النماذج. إن توثيق تجاربك بوضوح وكتابة كود نظيف سوف يفيدك ويفيد الآخرين. يركز مجتمع التعلم الآلي بشكل متزايد على إمكانية إعادة إنتاج التجارب، وقد تؤثر الوثائق غير الكافية لسير العمل على المنشورات اللاحقة.
5.2 الإبلاغ عن الأداء بطرق متعددة
عند تقييم أداء النموذج،إن النهج الأكثر صرامة هو استخدام مجموعات بيانات متعددة.يمكن أن يساعد هذا في التغلب على أي عيوب مرتبطة بمجموعة بيانات واحدة وإعطاء صورة شاملة لأداء النموذج. من الممارسات الجيدة الإبلاغ عن مقاييس متعددة لكل مجموعة بيانات، حيث يمكن للمقاييس المختلفة إظهار نتائج مختلفة وزيادة شفافية عملك.
5.3 تلخيص البيانات فقط
لا تقدم استنتاجات غير صحيحة يمكن أن تؤدي إلى تضليل الباحثين الآخرين. إن الخطأ الشائع هو نشر تعميمات لا تدعمها البيانات المستخدمة لتدريب النموذج وتقييمه. مجرد أن النموذج يعمل بشكل جيد على مجموعة بيانات واحدة لا يعني بالضرورة أنه سيعمل بشكل جيد على مجموعات بيانات أخرى. في حين أنه من الممكن الحصول على رؤى موثوقة من خلال استخدام مجموعات بيانات متعددة، إلا أن هناك دائمًا حدودًا لما يمكن دراسته واستنتاجه من التجارب.لا تبالغ في النتائج، وكن على دراية بالقيود.
5.4 الإبلاغ عن الاختلافات الهامة بحذر
يمكن أن تساعد الاختبارات الإحصائية التي تمت مناقشتها أعلاه في اختبار الاختلافات بين النماذج. ومع ذلك، فإن الاختبارات الإحصائية ليست مثالية وقد تقلل أو تبالغ في تقدير أهمية النموذج، مما يؤدي إلى نتائج إيجابيات خاطئة أو نتائج سلبية خاطئة. بالإضافة إلى ذلك، يدعو عدد متزايد من الإحصائيين إلى التخلي عن استخدام عتبات الثقة والإبلاغ المباشر عن قيم p لتحديد أهمية النموذج.
بالإضافة إلى الأهمية الإحصائية، هناك سؤال آخر يجب مراعاته وهو ما إذا كان الفرق بين النموذجين مهمًا بالفعل. لأنه طالما كانت العينة كافية، فمن الممكن دائمًا العثور على فروق كبيرة، حتى لو كان الفرق الفعلي في الأداء ضئيلًا. لذلك، عند الحكم على الأهمية، يمكننا قياس حجم التأثير. تشمل الأساليب إحصائية كوهين د (الأكثر شيوعًا)، وكولموجوروف سميرنوف (تأثير أفضل، موصى به)، وما إلى ذلك.
5.5 التركيز على مبدأ تشغيل النموذج
يحتوي النموذج المُدرَّب على الكثير من المعلومات الصالحة.ومع ذلك، فإن العديد من المؤلفين يذكرون فقط مؤشرات أداء النموذج دون شرح مبادئ النموذج.إن هدف البحث ليس الوصول إلى دقة أعلى بقليل من الآخرين، بل تلخيص المعرفة ومشاركتها مع مجتمع البحث، وبالتالي زيادة إمكانية نشر نتائج العمل. على سبيل المثال، بالنسبة للنماذج البسيطة مثل أشجار القرار، قم بتوفير تصور للنموذج؛ بالنسبة للنماذج المعقدة مثل الشبكات العصبية العميقة، فكر في استخدام تقنية XAI (الذكاء الاصطناعي القابل للتفسير) لاستخراج المعلومات ذات الصلة.
ما ورد أعلاه هو المحتوى الكامل لـ "دليل التجنب". آمل أن يتعلم كل طالب جديد في مجال التعلم الآلي منه.يمكنكم جميعًا الاحتفاظ بهذا الكتاب الثمين، وقراءته كثيرًا وتعلم أشياء جديدة، حتى تتمكنوا بسهولة من العثور على اتجاه بحثكم، واختيار موضوع جيد، ونشر بحثكم في أقرب وقت ممكن!
نتطلع إلى أخبارك الجيدة ~
روابط مرجعية:[كيفية تجنب أخطاء التعلم الآلي: دليل للباحثين الأكاديميين]
-- زيادة--