Mol2Lang-VLM: نماذج لغوية مُدرَّبة مسبقًا توليدية تُوجَّه بالرؤية والنص لتعزيز وصف الجزيئات من خلال دمج متعدد الوسائط
{and Balachandran Manavalan Nguyen Nguyen Nhat Truong Pham Duong Tran}
الملخص
يُقدّم هذا البحث منهج Mol2Lang-VLM، وهو تحسين لطرق تحسين النماذج اللغوية التوليدية المُدرّبة مسبقًا لوصف الجزيئات باستخدام الميزات متعددة الوسائط، بهدف تحقيق توليد وصف أكثر دقة. تعتمد طريقةنا على كتل الترميز والفك في بنية المُحَوِّل (Transformer) من خلال إدخال طبقات فرعية ثالثة في كل منهما. بشكل خاص، نُدمج في كتلة الترميز ميزات من سلاسل SELFIES والصور الجزيئية، بينما تُدمج في كتلة الفك ميزات من سلاسل SMILES والوصف المرتبط بها. علاوةً على ذلك، نستخدم الانتباه عبر عدة رؤوس متقاطع (cross multi-head attention) بدلًا من الانتباه عبر عدة رؤوس التقليدي، مما يمكّن كتلة الفك من التركيز على مخرجات كتلة الترميز، وبالتالي دمج المعلومات السياقية المشفرة بشكل أفضل، ما يؤدي إلى توليد وصف أكثر دقة ودقة. أظهرت تقييمات الأداء على مجموعتي البيانات القياسيتين CheBI-20 وL+M-24 تفوق Mol2Lang-VLM، حيث حقق دقة وأداءً أعلى في توليد الوصف مقارنةً بالطرق الحالية. يمكن الوصول إلى الكود والبيانات المُعدّة مسبقًا عبر الرابط التالي: https://github.com/nhattruongpham/mol-lang-bridge/tree/mol2lang/.
المعايير القياسية
| معيار قياسي | المنهجية | المقاييس |
|---|---|---|
| molecule-captioning-on-chebi-20 | Mol2Lang-VLM | BLEU-2: 61.2 BLEU-4: 52.7 METEOR: 63.3 ROUGE-1: 67.4 ROUGE-2: 53.2 ROUGE-L: 61.4 Text2Mol: 59.8 |
| molecule-captioning-on-l-m-24 | Mol2Lang-VLM | BLEU-2: 77.7 BLEU-4: 56.3 METEOR: 74.1 ROUGE-1: 78.6 ROUGE-2: 59.1 ROUGE-L: 56.5 |
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.