نُقدِّم مهمة جديدة تُسمَّى Text2Mol، تهدف إلى استرجاع الجزيئات باستخدام وصفات لغوية طبيعية كأسئلة بحث. تُشفِّر اللغة الطبيعية والجزيئات المعلومات بطريقة مختلفة جدًا، مما يُشكِّل مشكلة مثيرة ولكنها صعبة في دمج هاتين الوسائط المتمايزة. وعلى الرغم من التقدم المحرز في مجالات استرجاع النصوص واسترجاع الهياكل، فإن هذه المهمة الجديدة تتطلب دمج الجزيئات واللغة الطبيعية بشكل أكثر مباشرة. علاوةً على ذلك، يمكن اعتبار هذه المهمة مشكلة استرجاع عابر للغات صعبة جدًا، إذا اعتبرنا الجزيئات كلغة تمتلك قواعد نحوية فريدة للغاية. وقد قمنا ببناء مجموعة بيانات مزدوجة تتضمن جزيئات ووصفًا نصيًا مُقابلًا لها، ونستخدم هذه المجموعة لتعلم فضاء تداخل معني مشترك يُستخدم في عملية الاسترجاع. كما قمنا بتوسيع النموذج لبناء نموذج يعتمد على الانتباه عبر الوسائط (cross-modal attention) لتحسين التفسير وإعادة الترتيب، وذلك من خلال تفسير الانتباه كقواعد ارتباط. كما استخدمنا أيضًا نهج التجميع (ensemble approach) لدمج معمليات معمارية مختلفة، مما أسهم في تحسين النتائج بشكل كبير من 0.372 إلى 0.499 في مقياس MRR. يفتح هذا النهج متعدد الوسائط الجديد آفاقًا جديدة لحل المشكلات المتعلقة بفهم الأدبيات الكيميائية والتعلم الآلي للجزيئات.