HyperAIHyperAI

Command Palette

Search for a command to run...

MDCS: خبراء أكثر تنوعًا مع التقطير الذاتي المتسق للاعتراف بذيل طويل

Qihao Zhao extsuperscript1,2,* Chen Jiang extsuperscript1,* Wei Hu extsuperscript1 Fan Zhang extsuperscript1† Jun Liu extsuperscript2

الملخص

في الآونة الأخيرة، أدت طرق الخبراء المتعددين إلى تحسينات كبيرة في التعرف على الذيل الطويل (LTR). نلخص جوانبين بحاجة إلى تعزيز إضافي لمساهمتهما في تعزيز LTR: (1) خبراء أكثر تنوعًا؛ (2) انحراف نموذجي أقل. ومع ذلك، لم تتعامل الطرق السابقة مع هذه الجوانب بشكل جيد. بهدف سد الفجوة التي تركتها الطرق السابقة، نقترح طريقة "خبراء أكثر تنوعًا مع التقطير الذاتي المتسق" (MDCS). تتكون طريقة MDCS من مكونين أساسيين: خسارة التنوع (Diversity Loss - DL) والتقطير الذاتي المتسق (Consistency Self-distillation - CS). بالتفصيل، يشجع DL على التنوع بين الخبراء من خلال التحكم في تركيزهم على فئات مختلفة. لتخفيض الانحراف النموذجي، نستخدم الاختلاف KL لاستخلاص المعرفة الأغنى للحالات المعززة ضعيفًا للخبراء في عملية التقطير الذاتي. بشكل خاص، نصمم عينة الحالات الواثقة (Confident Instance Sampling - CIS) لاختيار الحالات المحصلة عليها بشكل صحيح للـ CS تجنبًا للمعرفة المتحيزة أو الضوضائية. في التحليل والدراسة الاستبعادية، نوضح أن طريقتنا مقارنة بالأعمال السابقة يمكنها زيادة التنوع بين الخبراء بشكل فعال، وتقليل الانحراف النموذجي بشكل كبير، وتحسين دقة التعرف. بالإضافة إلى ذلك، أدوار DL و CS تعززان بعضهما البعض وتترابطان: ينفع تنوع الخبراء من الـ CS، ولا يمكن للـ CS تحقيق نتائج ملحوظة دون الـ DL. تظهر التجارب أن MDCS تتفوق على أحدث التقنيات بنسبة 1% إلى 2% في خمسة مقاييس شهيرة للتوزيع ذي الذيل الطويل، بما في ذلك CIFAR10-LT و CIFAR100-LT و ImageNet-LT و Places-LT و iNaturalist 2018. الرمز البرمجي متاح على https://github.com/fistyee/MDCS.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp