التصنيف الطويل الذيل من خلال الحفاظ على التأثير السببي للزخم الجيد وإزالته للسيء

مع تزايد حجم الفئة، يصبح الحفاظ على مجموعة بيانات متوازنة عبر عدد كبير من الفئات أمرًا صعبًا نظرًا لطبيعة البيانات التي تكون طويلة الذيل؛ بل يصبح مستحيلًا في بعض الحالات عندما توجد عينات مُستهدفة متعددة معًا داخل وحدة جمع واحدة، مثل وجود عدة كيانات بصرية في صورة واحدة. لذلك، يُعد التصنيف الطويل الذيل هو المفتاح للتعلم العميق على نطاق واسع. ومع ذلك، تعتمد الطرق الحالية بشكل رئيسي على أساليب إعادة الوزن أو إعادة العينة التي تعتمد على تجارب عملية (هيرستيك) دون وجود نظرية أساسية. في هذه الورقة، نُنشئ إطارًا استنتاجيًا سببيًا، والذي لا يكشف فقط عن أسباب الطرق السابقة، بل يُنتج أيضًا حلًا جديدًا مبنيًا على مبادئ علمية صارمة. وبشكل محدد، تُظهر نظرية لدينا أن زخم سلسلة التدرج التدريجي (SGD momentum) هو في الأساس متغير مُربك (confounder) في التصنيف الطويل الذيل. من جهة، له تأثير سببي ضار يؤدي إلى تشويه التنبؤ بالذيل باتجاه الرأس. ومن جهة أخرى، فإن التأثير الوسيط الناتج عنه يُفيد في تعلم التمثيل والتنبؤ بالرأس. ويُبقي إطارنا السببي على نحو أنيق فصل التأثيرات المتناقضة لزخم التدرج، من خلال متابعة التأثير السببي المباشر الناتج عن عينة إدخال معينة. وبشكل خاص، نستخدم تدخلًا سببيًا أثناء التدريب، واستنتاجًا وهميًا (تخيّليًا) أثناء الاستنتاج، لإزالة "التأثيرات السيئة" مع الحفاظ على "التأثيرات الجيدة". وقد حققنا أداءً جديدًا يُعد الأفضل في مجالات ثلاث للتمييز البصري الطويل الذيل: CIFAR-10 وCIFAR-100 الطويلة الذيل، وImageNet-LT للتصنيف الصوتي، وLVIS لفصل الكيانات.