HyperAIHyperAI

Command Palette

Search for a command to run...

MemCap: تذكّر المعرفة الأسلوبية لوصف الصور

Xiaoxun Zhang Xinxiao wu Wentian Zhao

الملخص

إن إنشاء عناوين مُصاغة بأسلوب معين للصور يُعد مهمة صعبة، نظرًا لضرورة وصف محتوى الصورة بدقة، إلى جانب التعبير عن الأسلوب اللغوي المطلوب بشكل مناسب. في هذه الورقة، نقترح منهجية جديدة تُسمى MemCap، وهي منهجية لكتابة عناوين صور بأسلوب مُصاغ، تعتمد على تشفير معرفة دقيقة حول الأساليب اللغوية باستخدام آلية الذاكرة. بدلًا من الاعتماد بشكل كبير على نموذج لغوي لالتقاط عوامل الأسلوب في الطرق الحالية، يعتمد منهجنا على تذكّر العناصر المُصاغة التي تم تعلّمها من مجموعة التدريب. وتحديدًا، قمنا بتصميم وحدة ذاكرة تتضمّن مجموعة من المتجهات المُشفرة لتمثيل العبارات المرتبطة بالأسلوب في مجموعة التدريب. وللحصول على العبارات المرتبطة بالأسلوب، طوّرنا خوارزمية فك الجملة، والتي تقوم بتفكيك الجملة المُصاغة إلى جزأين: جزء مرتبط بالأسلوب يعكس الأسلوب اللغوي، وجزء مرتبط بالمحتوى يحتوي على المحتوى البصري. عند إنشاء العناوين، تقوم MemCap أولًا باستخراج المعرفة المتعلقة بالأسلوب ذات الصلة بالمحتوى من وحدة الذاكرة عبر آلية الانتباه، ثم تدمج هذه المعرفة المستخرجة داخل نموذج لغوي. وقد أظهرت التجارب الواسعة على مجموعتي بيانات لكتابة عناوين صور بأسلوب مُصاغ (SentiCap وFlickrStyle10K) فعالية منهجنا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp