البيانات المصنعة تلقائيًا والتوافق الدقيق للميزات التكيفية لاسترجاع الشخص المركب

جذب استرجاع الشخص اهتمامًا متزايدًا. تُقسم الأساليب الحالية بشكل أساسي إلى نمطين للاسترجاع، وهما الصور فقط والنصوص فقط. ومع ذلك، فإن هذه الأساليب غير قادرة على الاستفادة الكاملة من المعلومات المتاحة وتواجه صعوبة في تلبية متطلبات التطبيقات المتنوعة. لحل هذه القيود، نقترح مهمة جديدة لاسترجاع الشخص المركب (CPR)، والتي تجمع بين الاستعلامات البصرية والنصية لاكتشاف الأفراد ذوي الاهتمام من قواعد بيانات صور الأشخاص على نطاق واسع. ومع ذلك، فإن الصعوبة الرئيسية لمهمة CPR هي نقص البيانات المشتقة المتاحة. لذلك، نقدم أولًا خط أنابيب بيانات آلي قابل للتوسع، والذي يفكك إنشاء البيانات متعددة الوسائط المعقدة إلى إنشاء رباعيات نصية متبوعة بإنشاء صور متسقة مع الهوية باستخدام النماذج التوليدية المعدلة بدقة. في الوقت نفسه، تم تصميم طريقة فلترة متعددة الوسائط لضمان حفاظ مجموعة البيانات SynCPR على 1.15 مليون ثلاثي عالي الجودة ومُنتج بالكامل بشكل اصطناعي. بالإضافة إلى ذلك، لتحسين تمثيل الاستعلامات المركبة للأشخاص، نقترح إطار عمل جديد للمواءمة التكيفية الدقيقة للسمات (FAFA) من خلال المواءمة الديناميكية الدقيقة والاستدلال المقنّع بالسمات. علاوة على ذلك، لأجل التقييم الموضوعي، قمنا بتشخيص مجموعة اختبار استرجاع الشخص المركب بالصورة والنص (ITCPR) يدويًا. تُظهر التجارب الشاملة فعالية مجموعة البيانات SynCPR وتتفوق الإطار العمل المقترح FAFA عند مقارنته بالأساليب الرائدة الأخرى. سيتم توفير جميع الكودات والبيانات في الرابط التالي:https://github.com/Delong-liu-bupt/Composed_Person_Retrieval.