"تحليل التحيز والتباين" هي أداة تشرح أداء التعميم لخوارزميات التعلم من منظور التحيز والتباين. التعريف المحدد هو كما يلي: افترض أن هناك K مجموعة بيانات، يتم استخراج كل منها بشكل مستقل من توزيع p(t,x) (يمثل t المتغير الذي سيتم التنبؤ به، ويمثل x متغير الميزة). في مختلف […]

التعريف: الفرق بين الناتج المتوقع والعلامة الحقيقية يسمى التحيز. يمكن للشكل التالي أن يوضح بشكل جيد العلاقة بين التحيز والتباين:

يتم استخدام مصفوفة التشتت بين الفئات لتمثيل تشتت كل نقطة عينة حول المتوسط. التعريف الرياضي

التعريف: الشبكة البايزية هي أحد النماذج النظرية الأكثر فعالية في مجال التعبير عن المعرفة غير المؤكدة والاستدلال. تتكون الشبكة البايزية من عقد تمثل المتغيرات والحواف الموجهة التي تربط هذه العقد. تمثل العقد متغيرات عشوائية. تمثل الحواف الموجهة بين العقد العلاقات بين العقد. يتم التعبير عن قوة العلاقة باستخدام الاحتمال الشرطي. لا يوجد عقدة رئيسية […]

المفاهيم الأساسية تعتبر نظرية القرار البايزية طريقة أساسية في اتخاذ القرار باستخدام النموذج الإحصائي. الفكرة الأساسية هي: يتم تحويل تعبير معلمة كثافة الاحتمال الشرطي للفئة المعروفة والاحتمال السابق إلى احتمال لاحق باستخدام الصيغة البايزية. يتم تصنيف القرار بناءً على حجم الاحتمال الخلفي. الصيغة ذات الصلة ليكن D1، D2، ...، Dn عينات […]

من أجل تقليل المخاطر الإجمالية، يتم اختيار تسمية الفئة التي يمكنها تقليل المخاطر R(c|x) على العينة، أي أن h∗ هو المصنف الأمثل البايزي.

في اختيار النموذج، عادة ما يتم اختيار "أفضل" نموذج من مجموعة من النماذج المرشحة، ثم يتم استخدام هذا "الأفضل" المحدد للتنبؤ. على عكس النموذج الأمثل الفردي، يقوم متوسط النموذج البايزي بتعيين الأوزان لكل نموذج ويقوم بإجراء المتوسط المرجح لتحديد قيمة التنبؤ النهائية. ومن بينها الوزن المخصص للنموذج هو […]

بالنسبة لكل عينة x، إذا كان بإمكان h تقليل المخاطر الشرطية R(h(x)|x)، فسيتم أيضًا تقليل المخاطر الإجمالية. وهذا يؤدي إلى قاعدة قرار بايز: لتقليل المخاطر الإجمالية، نحتاج فقط إلى اختيار القرار الذي يجعل المخاطر الشرطية R(c|x […]

BN هي مجموعة من طرق التنظيم التي يمكنها تسريع تدريب الشبكات التلافيفية الكبيرة وتحسين دقة التصنيف بعد التقارب. عندما يتم استخدام BN في طبقة معينة من الشبكة العصبية، فإنه سيقوم بتوحيد البيانات الداخلية لكل دفعة صغيرة، وتطبيع الإخراج إلى التوزيع الطبيعي لـ N(0,1)، وتقليل [...]

في التعلم الجماعي، يكون "المتعلمون الأفراد" الذين تولدهم المجموعة متجانسين. يُطلق على هؤلاء المتعلمين اسم المتعلمين الأساسيين، وتُسمى خوارزميات التعلم المقابلة خوارزميات التعلم الأساسي.

الذاكرة طويلة المدى (LSTM) هي شبكة عصبية متكررة زمنياً (RNN) نُشرت لأول مرة في عام 1997. ونظرًا لبنيتها التصميمية الفريدة، فإن LSTM مناسبة لمعالجة وتوقع الأحداث المهمة في السلاسل الزمنية ذات الفواصل الزمنية الطويلة جدًا والتأخيرات […]

إن إنتروبيا المعلومات هي كمية مناسبة لقياس كمية المعلومات. تم اقتراحها من قبل شانون في عام 1948. وقد استعارت مفهوم الإنتروبيا في الديناميكا الحرارية وأطلقت على متوسط كمية المعلومات بعد استبعاد التكرار في المعلومات إنتروبيا المعلومات، وأعطت التعبير الرياضي ذي الصلة. الخصائص الثلاث للانتروبيا المعلوماتية هي الرتابة: كلما زاد احتمال وقوع حدث ما، كلما حمل معلومات أكثر [...]

يشير تمثيل المعرفة إلى تمثيل المعرفة ووصفها. يتعلق الأمر بكيفية تمكن الوكلاء من استخدام المعرفة ذات الصلة بشكل معقول. هذه دراسة للتفكير كعملية حسابية. بالمعنى الدقيق للكلمة، فإن تمثيل المعرفة واستدلال المعرفة هما مفهومان وثيقا الصلة في نفس مجال البحث، ولكن في الواقع، يتم استخدام تمثيل المعرفة أيضًا للإشارة إلى مفهوم واسع يشمل الاستدلال.

دالة الخسارة الأسيّة هي دالة خسارة مستخدمة بشكل شائع في خوارزمية AdaBoost. ويتم التعبير عن وظيفتها في صورة أسي، كما هو موضح في الرسم التخطيطي التالي. خطأ الخسارة الشائع الخسارة الأسيّة الخسارة الأسيّة: تُستخدم بشكل أساسي في خوارزمية التعلم الجماعي Adaboost؛ خسارة المفصلة H […]

في مجال التعلم الآلي، تشير الحقيقة إلى قيمة الإعداد الدقيقة لمجموعة التدريب لنتيجة التصنيف في التعلم الخاضع للإشراف، والتي تستخدم عمومًا لتقدير الخطأ وتقييم التأثير. في التعلم الخاضع للإشراف، تظهر البيانات المصنفة عادةً في شكل (x، t)، حيث يمثل x بيانات الإدخال ويمثل t التسمية. العلامة الصحيحة هي Grou […]

يشير تحليل الخطأ والتباعد إلى عملية تحليل خطأ التعميم المتكامل، والذي يمكن التعبير عنه على النحو التالي: حيث يمثل الجانب الأيسر E خطأ التعميم المتكامل، والجانب الأيمن […]

MCMC هي خوارزمية لأخذ العينات من التوزيعات العشوائية استنادًا إلى سلاسل ماركوف، والتي تقرب التوزيع الخلفي للمعامل المطلوب من خلال أخذ عينات عشوائية في مساحة الاحتمالية. النظرية الأساسية لـ MCMC هي عملية ماركوف. في الخوارزميات ذات الصلة، من أجل أخذ عينات من توزيع محدد، يمكننا المحاكاة من أي حالة وفقًا لعملية ماركوف.

الخوارزمية التطورية هي طريقة عامة لحل المشكلات تعتمد على الانتقاء الطبيعي والآليات الوراثية الطبيعية للعالم البيولوجي. الطريقة الأساسية: استخدام تكنولوجيا الترميز البسيطة لتمثيل الهياكل المعقدة المختلفة، واستخدام العمليات الجينية البسيطة والاختيار الطبيعي للبقاء للأصلح لتوجيه التعلم وتحديد اتجاه البحث؛ استخدم السكان لتنظيم البحث، بحيث […]

الخوارزمية الجينية (GA) هي خوارزمية بحث تستخدم في الرياضيات الحسابية لحل مشاكل التحسين. هو نوع من الخوارزميات التطورية، والتي استعارت في الأصل من بعض الظواهر في علم الأحياء التطوري، بما في ذلك الوراثة، والطفرة، والانتقاء الطبيعي والتهجين. يتم تنفيذ الخوارزميات الجينية عادة في شكل محاكاة حاسوبية. بالنسبة لمشكلة التحسين، هناك […]

يشير معدل الربح عادةً إلى معدل كسب المعلومات، والذي يمثل نسبة معلومات العقدة إلى مقياس معلومات تقسيم العقدة. يتم استخدام معدل الربح عادةً كأحد طرق اختيار السمات. والطريقتان الشائعتان الأخريان هما الحصول على المعلومات ومؤشر جيني. صيغة نسبة الكسب هي كما يلي: $latex {GainRatio{ \left( {R} […]

فضاء هيلبرت هو فضاء حاصل ضرب داخلي كامل، والذي يمكن فهمه على أنه فضاء متجه كامل مع حاصل ضرب داخلي. تعتمد فضاءات ألبرت على الفضاء الإقليدي ذي الأبعاد المحدودة ويمكن اعتبارها تعميمًا لهذا الأخير. فهو لا يقتصر على الأعداد الحقيقية والأبعاد المحدودة، ولكنه ليس كاملاً. مثل الفضاء الإقليدي، فإن فضاء هيلبرت هو فضاء حاصل ضرب داخلي وله مسافات وزوايا [...]

نموذج ماركوف المخفي (HMM) هو نموذج احتمالي للسلاسل الزمنية، والذي يصف عملية إنشاء تسلسل عشوائي يمكن ملاحظته من الحالات غير القابلة للملاحظة من كل حالة بواسطة سلسلة ماركوف مخفية. نماذج ماركوف المخفية هي نماذج إحصائية تستخدم لوصف نموذج ماركوف ذو معلمات غير معروفة مخفية.

تشير الطبقة المخفية إلى الطبقة الأخرى غير طبقة الإدخال وطبقة الإخراج في شبكة عصبية تغذية أمامية متعددة المستويات. الطبقة المخفية لا تستقبل إشارات خارجية بشكل مباشر، ولا ترسل إشارات مباشرة إلى العالم الخارجي. لا يكون ذلك ضروريًا إلا عندما يتم فصل البيانات بشكل غير خطي. يمكن أن تأخذ الخلايا العصبية في الطبقات المخفية أشكالًا عديدة، مثل طبقات التجميع القصوى والطبقات التلافيفية، حيث تؤدي كل منها وظيفة رياضية مختلفة، [...]

التصويت الصعب هو أسلوب تصويت يقوم بإخراج تسميات الفئة بشكل مباشر، ويوجد بشكل أساسي في خوارزميات التعلم الآلي للتصنيف. التصويت هو استراتيجية مشتركة لمشاكل التصنيف في التعلم الجماعي. الفكرة الأساسية هي اختيار الفصل الذي يحتوي على أكبر قدر من الناتج في الخوارزمية. التصويت الصعب هو اختيار الملصق الذي يحتوي على أكبر قدر من الناتج من الخوارزمية. إذا كان عدد العلامات متساويًا، فسيتم فرزها بترتيب تصاعدي. […]

"تحليل التحيز والتباين" هي أداة تشرح أداء التعميم لخوارزميات التعلم من منظور التحيز والتباين. التعريف المحدد هو كما يلي: افترض أن هناك K مجموعة بيانات، يتم استخراج كل منها بشكل مستقل من توزيع p(t,x) (يمثل t المتغير الذي سيتم التنبؤ به، ويمثل x متغير الميزة). في مختلف […]

التعريف: الفرق بين الناتج المتوقع والعلامة الحقيقية يسمى التحيز. يمكن للشكل التالي أن يوضح بشكل جيد العلاقة بين التحيز والتباين:

يتم استخدام مصفوفة التشتت بين الفئات لتمثيل تشتت كل نقطة عينة حول المتوسط. التعريف الرياضي

التعريف: الشبكة البايزية هي أحد النماذج النظرية الأكثر فعالية في مجال التعبير عن المعرفة غير المؤكدة والاستدلال. تتكون الشبكة البايزية من عقد تمثل المتغيرات والحواف الموجهة التي تربط هذه العقد. تمثل العقد متغيرات عشوائية. تمثل الحواف الموجهة بين العقد العلاقات بين العقد. يتم التعبير عن قوة العلاقة باستخدام الاحتمال الشرطي. لا يوجد عقدة رئيسية […]

المفاهيم الأساسية تعتبر نظرية القرار البايزية طريقة أساسية في اتخاذ القرار باستخدام النموذج الإحصائي. الفكرة الأساسية هي: يتم تحويل تعبير معلمة كثافة الاحتمال الشرطي للفئة المعروفة والاحتمال السابق إلى احتمال لاحق باستخدام الصيغة البايزية. يتم تصنيف القرار بناءً على حجم الاحتمال الخلفي. الصيغة ذات الصلة ليكن D1، D2، ...، Dn عينات […]

من أجل تقليل المخاطر الإجمالية، يتم اختيار تسمية الفئة التي يمكنها تقليل المخاطر R(c|x) على العينة، أي أن h∗ هو المصنف الأمثل البايزي.

في اختيار النموذج، عادة ما يتم اختيار "أفضل" نموذج من مجموعة من النماذج المرشحة، ثم يتم استخدام هذا "الأفضل" المحدد للتنبؤ. على عكس النموذج الأمثل الفردي، يقوم متوسط النموذج البايزي بتعيين الأوزان لكل نموذج ويقوم بإجراء المتوسط المرجح لتحديد قيمة التنبؤ النهائية. ومن بينها الوزن المخصص للنموذج هو […]

بالنسبة لكل عينة x، إذا كان بإمكان h تقليل المخاطر الشرطية R(h(x)|x)، فسيتم أيضًا تقليل المخاطر الإجمالية. وهذا يؤدي إلى قاعدة قرار بايز: لتقليل المخاطر الإجمالية، نحتاج فقط إلى اختيار القرار الذي يجعل المخاطر الشرطية R(c|x […]

BN هي مجموعة من طرق التنظيم التي يمكنها تسريع تدريب الشبكات التلافيفية الكبيرة وتحسين دقة التصنيف بعد التقارب. عندما يتم استخدام BN في طبقة معينة من الشبكة العصبية، فإنه سيقوم بتوحيد البيانات الداخلية لكل دفعة صغيرة، وتطبيع الإخراج إلى التوزيع الطبيعي لـ N(0,1)، وتقليل [...]

في التعلم الجماعي، يكون "المتعلمون الأفراد" الذين تولدهم المجموعة متجانسين. يُطلق على هؤلاء المتعلمين اسم المتعلمين الأساسيين، وتُسمى خوارزميات التعلم المقابلة خوارزميات التعلم الأساسي.

الذاكرة طويلة المدى (LSTM) هي شبكة عصبية متكررة زمنياً (RNN) نُشرت لأول مرة في عام 1997. ونظرًا لبنيتها التصميمية الفريدة، فإن LSTM مناسبة لمعالجة وتوقع الأحداث المهمة في السلاسل الزمنية ذات الفواصل الزمنية الطويلة جدًا والتأخيرات […]

إن إنتروبيا المعلومات هي كمية مناسبة لقياس كمية المعلومات. تم اقتراحها من قبل شانون في عام 1948. وقد استعارت مفهوم الإنتروبيا في الديناميكا الحرارية وأطلقت على متوسط كمية المعلومات بعد استبعاد التكرار في المعلومات إنتروبيا المعلومات، وأعطت التعبير الرياضي ذي الصلة. الخصائص الثلاث للانتروبيا المعلوماتية هي الرتابة: كلما زاد احتمال وقوع حدث ما، كلما حمل معلومات أكثر [...]

يشير تمثيل المعرفة إلى تمثيل المعرفة ووصفها. يتعلق الأمر بكيفية تمكن الوكلاء من استخدام المعرفة ذات الصلة بشكل معقول. هذه دراسة للتفكير كعملية حسابية. بالمعنى الدقيق للكلمة، فإن تمثيل المعرفة واستدلال المعرفة هما مفهومان وثيقا الصلة في نفس مجال البحث، ولكن في الواقع، يتم استخدام تمثيل المعرفة أيضًا للإشارة إلى مفهوم واسع يشمل الاستدلال.

دالة الخسارة الأسيّة هي دالة خسارة مستخدمة بشكل شائع في خوارزمية AdaBoost. ويتم التعبير عن وظيفتها في صورة أسي، كما هو موضح في الرسم التخطيطي التالي. خطأ الخسارة الشائع الخسارة الأسيّة الخسارة الأسيّة: تُستخدم بشكل أساسي في خوارزمية التعلم الجماعي Adaboost؛ خسارة المفصلة H […]

في مجال التعلم الآلي، تشير الحقيقة إلى قيمة الإعداد الدقيقة لمجموعة التدريب لنتيجة التصنيف في التعلم الخاضع للإشراف، والتي تستخدم عمومًا لتقدير الخطأ وتقييم التأثير. في التعلم الخاضع للإشراف، تظهر البيانات المصنفة عادةً في شكل (x، t)، حيث يمثل x بيانات الإدخال ويمثل t التسمية. العلامة الصحيحة هي Grou […]

يشير تحليل الخطأ والتباعد إلى عملية تحليل خطأ التعميم المتكامل، والذي يمكن التعبير عنه على النحو التالي: حيث يمثل الجانب الأيسر E خطأ التعميم المتكامل، والجانب الأيمن […]

MCMC هي خوارزمية لأخذ العينات من التوزيعات العشوائية استنادًا إلى سلاسل ماركوف، والتي تقرب التوزيع الخلفي للمعامل المطلوب من خلال أخذ عينات عشوائية في مساحة الاحتمالية. النظرية الأساسية لـ MCMC هي عملية ماركوف. في الخوارزميات ذات الصلة، من أجل أخذ عينات من توزيع محدد، يمكننا المحاكاة من أي حالة وفقًا لعملية ماركوف.

الخوارزمية التطورية هي طريقة عامة لحل المشكلات تعتمد على الانتقاء الطبيعي والآليات الوراثية الطبيعية للعالم البيولوجي. الطريقة الأساسية: استخدام تكنولوجيا الترميز البسيطة لتمثيل الهياكل المعقدة المختلفة، واستخدام العمليات الجينية البسيطة والاختيار الطبيعي للبقاء للأصلح لتوجيه التعلم وتحديد اتجاه البحث؛ استخدم السكان لتنظيم البحث، بحيث […]

الخوارزمية الجينية (GA) هي خوارزمية بحث تستخدم في الرياضيات الحسابية لحل مشاكل التحسين. هو نوع من الخوارزميات التطورية، والتي استعارت في الأصل من بعض الظواهر في علم الأحياء التطوري، بما في ذلك الوراثة، والطفرة، والانتقاء الطبيعي والتهجين. يتم تنفيذ الخوارزميات الجينية عادة في شكل محاكاة حاسوبية. بالنسبة لمشكلة التحسين، هناك […]

يشير معدل الربح عادةً إلى معدل كسب المعلومات، والذي يمثل نسبة معلومات العقدة إلى مقياس معلومات تقسيم العقدة. يتم استخدام معدل الربح عادةً كأحد طرق اختيار السمات. والطريقتان الشائعتان الأخريان هما الحصول على المعلومات ومؤشر جيني. صيغة نسبة الكسب هي كما يلي: $latex {GainRatio{ \left( {R} […]

فضاء هيلبرت هو فضاء حاصل ضرب داخلي كامل، والذي يمكن فهمه على أنه فضاء متجه كامل مع حاصل ضرب داخلي. تعتمد فضاءات ألبرت على الفضاء الإقليدي ذي الأبعاد المحدودة ويمكن اعتبارها تعميمًا لهذا الأخير. فهو لا يقتصر على الأعداد الحقيقية والأبعاد المحدودة، ولكنه ليس كاملاً. مثل الفضاء الإقليدي، فإن فضاء هيلبرت هو فضاء حاصل ضرب داخلي وله مسافات وزوايا [...]

نموذج ماركوف المخفي (HMM) هو نموذج احتمالي للسلاسل الزمنية، والذي يصف عملية إنشاء تسلسل عشوائي يمكن ملاحظته من الحالات غير القابلة للملاحظة من كل حالة بواسطة سلسلة ماركوف مخفية. نماذج ماركوف المخفية هي نماذج إحصائية تستخدم لوصف نموذج ماركوف ذو معلمات غير معروفة مخفية.

تشير الطبقة المخفية إلى الطبقة الأخرى غير طبقة الإدخال وطبقة الإخراج في شبكة عصبية تغذية أمامية متعددة المستويات. الطبقة المخفية لا تستقبل إشارات خارجية بشكل مباشر، ولا ترسل إشارات مباشرة إلى العالم الخارجي. لا يكون ذلك ضروريًا إلا عندما يتم فصل البيانات بشكل غير خطي. يمكن أن تأخذ الخلايا العصبية في الطبقات المخفية أشكالًا عديدة، مثل طبقات التجميع القصوى والطبقات التلافيفية، حيث تؤدي كل منها وظيفة رياضية مختلفة، [...]

التصويت الصعب هو أسلوب تصويت يقوم بإخراج تسميات الفئة بشكل مباشر، ويوجد بشكل أساسي في خوارزميات التعلم الآلي للتصنيف. التصويت هو استراتيجية مشتركة لمشاكل التصنيف في التعلم الجماعي. الفكرة الأساسية هي اختيار الفصل الذي يحتوي على أكبر قدر من الناتج في الخوارزمية. التصويت الصعب هو اختيار الملصق الذي يحتوي على أكبر قدر من الناتج من الخوارزمية. إذا كان عدد العلامات متساويًا، فسيتم فرزها بترتيب تصاعدي. […]