DADA: تعديل تلقائي للبيانات قابِل للتفاضل

تهدف تقنيات تضخيم البيانات (DA) إلى زيادة تنوع البيانات، وبالتالي تدريب الشبكات العميقة بقدرة تعميم أفضل. وقد قادت تقنية AutoAugment المبتكرة عملية أتمتة البحث عن سياسات تضخيم البيانات المثلى باستخدام التعلم المعزز. ومع ذلك، فإن AutoAugment تتسم بتكاليف حسابية هائلة، مما يحد من تطبيقها الواسع. وقد ساهمت الدراسات اللاحقة مثل Population Based Augmentation (PBA) وFast AutoAugment في تحسين الكفاءة، لكن سرعة التحسين تظل عقبة رئيسية. في هذا البحث، نقترح تقنية تضخيم البيانات التلقائي القابل للتفاضل (DADA)، التي تقلل بشكل كبير من التكلفة. تعتمد DADA على تحويل مشكلة اختيار السياسات المتقطعة لتضخيم البيانات إلى مشكلة تحسين قابلة للتفاضل باستخدام تقنية Gumbel-Softmax. علاوة على ذلك، نقدم مُقدّرًا غير مُتحيّز للGradient، يُسمى RELAX، مما يؤدي إلى استراتيجية تحسين فعّالة وسريعة من نوع "خطوة واحدة" لتعلم سياسة تضخيم بيانات كفؤة ودقيقة. أجرينا تجارب واسعة على مجموعات بيانات CIFAR-10 وCIFAR-100 وSVHN وImageNet. كما أظهرنا القيمة الحقيقية لـ Auto DA في عملية التدريب المسبق (pre-training) لمشكلات الكشف اللاحقة. تُظهر النتائج أن DADA أسرع بمقدار رتبة واحدة على الأقل مقارنة بأحدث التقنيات، مع تحقيق دقة مماثلة جدًا. يمكن الوصول إلى الكود عبر الرابط: https://github.com/VDIGPKU/DADA.