DLCR: إطار توسعي للبيانات التوليدية عبر الانتشار لإعادة تحديد الشخص بعد تغيير الملابس

مع التطور الأخير في قوة نماذج الانتشار التوليدية، بات هناك سؤال بحثي مفتوح حول إمكانية استخدام الصور التي تولدها هذه النماذج لتعلم تمثيلات بصرية أفضل. بينما قد تكون هذه التوسعات في البيانات التوليدية كافية للمهام البصرية الأسهل، فإننا نستكشف فعاليتها في مهمة تمييزية أكثر صعوبة: إعادة تعريف الشخص بعد تغيير الملابس (CC-ReID). يهدف CC-ReID إلى مطابقة الأشخاص الذين يظهرون في كاميرات غير متداخلة، حتى عند تغييرهم للملابس بين الكاميرات. ليس فقط أن نماذج CC-ReID الحالية مقيدة بالتنوع المحدود للملابس في مجموعات بيانات CC-ReID الحالية، بل إن إنشاء بيانات إضافية تحتفظ بميزات شخصية مهمة للتعريف الدقيق هو تحدي حالي. لمعالجة هذا الأمر، نقترح DLCR، إطار عمل توسع بيانات جديد يستفيد من النماذج المسبقة التدريب على الانتشار والنماذج اللغوية الكبيرة (LLMs) لتوليد صور متنوعة بدقة لأفراد يرتدون ملابس مختلفة. نولد بيانات إضافية لمجموعات بيانات CC-ReID الخمسة المرجعية (PRCC، CCVID، LaST، VC-Clothes، و LTCC) ونزيد تنوع الملابس فيها بمقدار 10 أضعاف، بإجمالي أكثر من 2.1 مليون صورة مولدة. يستخدم DLCR تقنية الرسم الإفتراضي الموجه بالنص والمبنية على الانتشار، والتي تعتمد على دفعات الملابس التي يتم بناؤها باستخدام النماذج اللغوية الكبيرة (LLMs)، لتوليد بيانات اصطناعية تعدل فقط في ملابس الموضوع مع الحفاظ على خصائصه الشخصية القابلة للتعريف. مع هذا الزيادة الهائلة في البيانات، نقدم استراتيجيتين جديدتين - التعلم التدريجي وتحسين التنبؤ أثناء الاختبار - اللتين تقللان من وقت التدريب وتزيدان من أداء CC-ReID بشكل أكبر. على مجموعة بيانات PRCC، حققنا تحسينًا كبيرًا بنسبة 11.3% في دقة المركز الأول عن طريق تدريب CAL، وهو طريقة سابقة كانت رائدة (SOTA)، باستخدام البيانات المولدة بواسطة DLCR. نقوم بإطلاق رمزنا البرمجي والبيانات المولدة لكل مجموعة بيانات هنا:https://github.com/CroitoruAlin/dlcr.