استخدام الهلوسات لخفض الاعتماد اليدوي على الدفعات في التقطيع القابل للدفع

الترجمة إلى اللغة العربية:عادةً ما تتطلب تقسيم الصور القابل للتحفيز (promptable segmentation) تحفيزات يدوية محددة لكل حالة لتعزيز تقسيم كل كائن مرغوب. بهدف تقليل هذه الحاجة، تم تقديم التقسيم القابل للتحفيز العام للمهمة (task-generic promptable segmentation)، والذي يستخدم تحفيزاً واحداً عاماً للمهمة لتقسيم صور مختلفة لكائنات متعددة ضمن نفس المهمة. تعتمد الطرق الحالية على نماذج اللغات الكبيرة المتعددة الأوضاع (Multimodal Large Language Models - MLLMs) لتبرير التحفيزات التفصيلية المحددة لكل حالة من تحفيز عام للمهمة بهدف تحسين دقة التقسيم. تعتمد فعالية هذا التقسيم بشكل كبير على دقة هذه التحفيزات المشتقة. ومع ذلك، غالباً ما تعاني نماذج اللغات الكبيرة المتعددة الأوضاع من الهلوسة أثناء التبرير، مما يؤدي إلى تحفيز غير دقيق. بينما تركز الطرق الموجودة على القضاء على الهلوسة لتحسين النموذج، نحن نعتقد أن هلوسة MLLMs يمكن أن تكشف عن رؤى سياقية قيمة عند استخدامها بشكل صحيح، حيث تمثل معرفة واسعة النطاق مسبقة التدريب تتجاوز الصور الفردية. في هذا البحث، نستغل الهلوسة لاستخراج المعلومات ذات الصلة بالمهمة من الصور ونتحقق من دقتها لتعزيز دقة التحفيزات المولدة. بصفة خاصة، نقدم إطار عمل دوراني متكرر لتوليد التحفيز والقناع (Prompt-Mask Cycle generation framework - ProMaC) يتضمن جهازاً لتوليد التحفيز وجهازاً لتوليد القناع. يستخدم جهاز توليد التحفيز طريقة تحفيز متعددة المقاييس، حيث يبدأ أولاً باستكشاف الهلوسة لاستخراج المعرفة السياقية الموسعة حول صورة الاختبار. ثم يتم تقليل هذه الهلوسة لصياغة تحفيزات دقيقة ومحددة لكل حالة، مما يوجه جهاز توليد القناع لإنتاج قناع متسق مع معاني المهمة من خلال تناسق معنى القناع (mask semantic alignment). يحفّز القناع المولد بشكل متكرر جهاز توليد التحفيز على التركيز أكثر على المناطق ذات الصلة بالمهمة في الصورة وتقليل الهلوسة غير ذات الصلة، مما يؤدي بالتوازي إلى تحقيق تحفيزات وقناع أفضل. أظهرت التجارب على خمس مقاييس مختلفة فعالية ProMaC. الرمز البرمجي متوفر في https://lwpyh.github.io/ProMaC/.