الشبكات العصبية والخوارزميات التجميعية قد تبدو بعيدة كل البعد عن بعضها البعض في الوهلة الأولى الشبكات العصبية غالبًا ما تُستخدم في التعلم بالإشراف حيث الهدف هو تصنيف البيانات الجديدة بناءً على الأنماط المستفادة من مجموعة بيانات مصنفة بينما يعتبر التجميع مهمة غير إشرافية حيث نحاول الكشف عن العلاقات في البيانات دون الوصول إلى العلامات الحقيقية ومع ذلك يمكن أن يكون التعلم العميق مفيدًا للغاية للمسائل التجميعية الفكرة الأساسية هي أننا إذا قمنا بتدريب شبكة عصبية باستخدام دالة خسارة تعكس شيئًا ما نهتم به كجودة التصنيف أو الفصل بين الأمثلة وإذا حققت الشبكة خسارة منخفضة فيمكننا استنتاج أن التمثيلات التي تتعلمها خاصة في الطبقة السابقة الأخيرة تلتقط بنية مفيدة في البيانات بعبارة أخرى فإن هذه التمثيلات الوسيطة تحتوي على ما تعلمته الشبكة عن المهمة إذا ماذا يحدث عندما نقوم بتشغيل خوارزمية تجميع مثل KMeans على تلك التمثيلات؟ في المثالية ننتهي بتجانس تعكس نفس البنية الأساسية التي تعلمتها الشبكة هذا هو الفكرة الأساسية وراء DeepType وهي نهج يستخدم الشبكات العصبية للتجميع بدلاً من تجميع البيانات الخام مباشرة فإن DeepType يقوم أولاً بتعلم تمثيل ذي صلة بالمهمة عبر التدريب الإشرافي ومن ثم يقوم بالتجميع في هذا الفضاء المتعلم قد تثير هذه الفكرة سؤالًا إذا كان لدينا بالفعل العلامات الحقيقية لماذا نحتاج إلى تشغيل التجميع؟ بعد كل شيء لو تجمعنا باستخدام العلامات الحقيقية فلن يكون لدينا تجميع مثالي وللنقاط البيانات الجديدة يمكننا ببساطة تشغيل شبكتنا العصبية التوقع العلامة ومن ثم تجميع النقطة بشكل مناسب في بعض السياقات نهتم أكثر بالعلاقات بين نقاط البيانات من العلامات نفسها على سبيل المثال استخدم مؤلفو الورقة التي قدموها DeepType لتحديد تجميعات مختلفة للمرضى المصابين بسرطان الثدي بناءً على البيانات الجينية والتي كانت مفيدة جدًا في السياق البيولوجي ثم اكتشفوا أن هذه التجميعات ترتبط بأعلى معدلات البقاء مما يشير إلى أن التمثيلات التي تجميعوها كانت مغروسة بالمعرفة البيولوجية يقدم DeepType طريقة لتعزيز المعرفة المجالية في عملية التجميع فلو كنت تملك دالة خسارة ذات معنى وتريد الكشف عن بنية في بياناتك فإن DeepType قد يكون الخيار المناسب لك لتحسين هذا النهج قام مؤلفو DeepType بإجراء تعديلات طفيفة على دالة الخسارة أولاً يريدون أن تكون التجميعات مضغوطة قدر الإمكان أي أنهم يفضلون الوضع الموضح في الصورة اليسرى بدلاً من الصورة اليمنى لتحقيق هذا الغرض يتم إضافة شرط إلى دالة الخسارة يعاقب المسافة بين تمثيل النقاط البيانات والمراكز التي تم تعيينها إليها وهكذا تصبح دالة الخسارة النهائية: حيث d هي دالة المسافة بين المتجهات مثل مربع نORM الاختلاف بين المتجهات كما هو مستخدم في الورقة الأصلية لكن كيف نحصل على مراكز التجميع إذا لم نقم بتدريب الشبكة بعد؟ لتجاوز هذا الأمر يقوم DeepType بالخطوات التالية: ١ تدريب النموذج باستخدام الخسارة الرئيسية فقط ٢ إنشاء تجميعات في الفضاء التمثيلي باستخدام خوارزميات مثل KMeans أو خوارزمية مفضلة ٣ تدريب النموذج باستخدام الخسارة المعدلة ٤ العودة إلى الخطوة ٢ وإعادة العملية حتى تتقارب النتائج بعد تدريب الشبكة يمكننا بسهولة استخراج المدخلات المهمة عن طريق تحديد أكبر القيم الموزونة التي تعينها العقد في الطبقة الأولى في السياق العميق للتعلم يمكن اعتبار المدخل ذي أهمية إذا كانت قيم الأوزان المحددة له مرتفعة في حين أن معظم العقد لديها وزن قريب من الصفر لهذا المدخل لن يساهم كثيرًا في التنبؤ النهائي وبالتالي من المحتمل أن ليس مهمًا جدًا بهذا السياق نقوم بإدخال خسارة أخيرة خسارة الندرة التي تشجع شبكتنا العصبية على دفع أكبر عدد ممكن من أوزان المدخلات إلى الصفر وهكذا تصبح خسارة DeepType النهائية: حيث الشرط البيت هو الشرط السابق لمسافة التمثيل والشرط ألفا يعمل على معاقبة «نسبة كبيرة» مصفوفة الأوزان الأولى يتم تعديل الإجراء الأربعة المذكور في القسم السابق قليلاً بدلاً من تدريب الشبكة على خسارة MSE فقط في الخطوة الأولى نقوم بتدريبها على كل من خسارة MSE وخسارة الندرة في مرحلة التدريب الأولية وفقًا لما ذكره المؤلفون فإن الهيكل النهائي لـ DeepType يبدو كالتالي: تتيح حزمة DeepType بنية بسيطة لاختبار كل شيء يمكننا إنشاء مجموعة بيانات مصطنعة تتضمن أربع تجميعات و٢٠ مدخل فقط ٥ منها تساهم في الناتج النهائي بعد التدريب نتمكن من استخراج المدخلات المهمة بسهولة ورسمها كما هو موضح أدناه: بعد تشغيل الحزمة نحصل على التجميعات المطلوبة إجمالاً على الرغم من أن DeepType لن يكون الأداة المناسبة لكل مشكلة فإنه يقدم طريقة قوية لدمج المعرفة المجالية في عملية التجميع فلو كنت تملك دالة خسارة ذات معنى وأردت الكشف عن بنية في بياناتك فإن تجربة DeepType قد تكون مثمرة في السياقات التي يكون فيها DeepType مفيدًا بالإضافة إلى الاهتمام بالتجميعات نهتم أيضًا بالمدخلات الأكثر إفادة في الورقة التي قدمت DeepType كان المؤلفون مهتمين بتحديد الجينات الأكثر أهمية في تحديد نوع السرطان لدى المريض وهي معلومات مفيدة جدًا للبيولوجيين يمكن أن تكون مثل هذه المعلومات مثيرة للاهتمام في سياقات أخرى كثيرة ففي الواقع من الصعب تخيل سياق لن يكون فيه هذا النوع من المعلومات مثيرًا للاهتمام في القسم التالي من هذه المقالة سنتحدث عن الفروق بين L¹ و L² وكيفية تعميم المسافة إلى Lᵖ والدور الذي يلعبه L∞ في الذكاء الاصطناعي النماذج التي تم تدريبها باستخدام L¹ تكون أقرب إلى الملاحظة الوسطى بينما تدفع خسارة MSE الشبكة نحو قيمة متوسطة تبدو متسخة ومع L¹ كل خطأ بكسل يُحسب بنفس الطريقة لذلك يتم جذب الشبكة نحو الجزء الوسط من الصورة ويحتفظ بالحدود الحادة في التجميع العصبي يمكن اعتبار المدخل ذو أهمية إذا كانت قيم الأوزان المحددة له مرتفعة في حين أن معظم العقد لديها وزن قريب من الصفر لهذا المدخل لن يساهم كثيرًا في التنبؤ النهائي وبالتالي من المحتمل أن ليس مهمًا جدًا تعتبر Lasso وRidge من النماذج التي تحسن التعميم مع Lasso بمجرد وصول الوزن إلى الصفر لن يشعر المُحسَّن بأي سبب قوي للترك ومن ثم تكون الصفر «ملتصقة» بشكل طبيعي بينما تقوم Ridge بتقليل الأوزان نحو الصفر دون الوصول إليه تمامًا وهذا يمنع أي مدخل من السيطرة على الآخرين بينما يحافظ على كل المدخلات في اللعب مفيد عند الاعتقاد بأن جميع المدخلات مهمة ولكن تريد تقييد التكيف الزائد تظهر الفروقات الصغيرة بين L¹ و L² في تأثيرها على النماذج التي يتم بناؤها عليها في التجميعات العصبية يتم استخدام خسارة L¹ في GANs للحصول على صور حادة بينما يتم استخدام L² للحصول على صور أكثر تماثلًا وغامضة أخيرًا يظهر L∞ في أي وقت تحتاج فيه إلى ضمان موحد أو تحكم في الحالة الأسوأ إذا لم يتمكن أي إحداثي من التخطي فوق حد معين فيجب استخدام L∞ إذا كنت تريد وضع حد أقصى ثابت لكل إحداثي في متجهك فهذه هي أيضًا خيارك تعميم فكرة المسافة قد يكون أمرًا يبدو معقدًا ولكنه يفتح أبوابًا لمجموعة من الأسئلة المثيرة للاهتمام يمكننا التفكير في قيم p ليست أعدادًا صحيحة مثل π ويمكننا أيضًا التفكير في p ∈ (٠, ١) مثل ٠,٣ هل ستظل هذه القيم تتوافق مع القواعد الأربع التي ذكرناها لكل دالة مسافة؟ في النهاية فإن توضيح فكرة المسافة إلى خصائصها الأساسية يحررنا لطرح أسئلة لم يكن من الممكن صياغتها بطريقة أخرى هذا الكشف يظهر نماذج جديدة ذات استخدامات ملموسة في العالم الحقيقي من التوازن بين التحيز والاختلاف في الانحدار إلى اختيار الصور الحادة أو الضبابية في GANs فإن طريقة قياس المسافة تهم حقًا يقدم DeepType طريقة قوية لدمج المعرفة المجالية في عملية التجميع وهو نهج يمكن أن يكون مفيدًا في العديد من التطبيقات العملية مثل تحديد الجينات الأكثر أهمية في السرطان أو تحديد الميزات الأكثر تأثيرًا في مجموعة بيانات معقدة