تم اختياره لـ ICML 2025، اقترح Meta/Cambridge/MIT إطار عمل محول الانتشار الذري الكامل، والذي يحقق التوليد الموحد للأنظمة الذرية الدورية وغير الدورية لأول مرة
في طليعة البحث العلمي والتطبيقات الصناعية اليوم، تُظهر النمذجة التوليدية للبنية ثلاثية الأبعاد للأنظمة الذرية إمكاناتٍ ثورية، ومن المتوقع أن تُحدث تغييرًا جذريًا في مشهد التصميم العكسي للجزيئات والمواد الجديدة. بدءًا من التنبؤ الهيكلي الدقيق وصولًا إلى التوليد المشروط المرن، ظهرت أحدث نماذج الانتشار ونماذج مطابقة التدفق في مهام رئيسية مثل تحليل الجزيئات الحيوية، وبحث وتطوير المواد الجديدة، وتصميم الأدوية القائمة على البنية، لتصبح الأداة الأساسية للباحثين لتجاوز العقبات التقنية.
ومع ذلك، وراء هذا المجال المزدهر،إن هناك مشكلة رئيسية كانت دائما تحد من القفزات التكنولوجية - وهي أن النماذج الحالية تفتقر إلى العالمية عبر الأنظمة.على الرغم من أن جميع الأنظمة الذرية تتبع المبادئ الفيزيائية نفسها لتحديد هياكلها وتفاعلاتها ثلاثية الأبعاد، إلا أن نمذجة الجزيئات الصغيرة والجزيئات الحيوية والبلورات وأنظمتها المركبة لطالما كانت في حالة "فرّق تسد". تعتمد معظم نماذج الانتشار اعتمادًا كبيرًا على الخصائص الجوهرية لنظام معين، وتتطلب توليدًا متعدد الأنماط على مُتَعَدِّدِ النواتج، حيث تتشابك البيانات الفئوية (مثل نوع الذرة) والبيانات المتصلة (مثل الإحداثيات ثلاثية الأبعاد)، مما يجعل التوافق بين النماذج بين الأنظمة المختلفة أمرًا صعبًا.
لنأخذ سيناريو محددًا كمثال: يجب تقسيم عملية توليد الجزيئات الصغيرة الجديدة إلى عمليتي انتشار مستقلتين: النوع الذري (التصنيف) والإحداثيات ثلاثية الأبعاد (المستمرة). على الرغم من أن نموذج إزالة الضوضاء يحتاج إلى تعلم قوانين التطور المشترك لكليهما، إلا أنه غالبًا ما يقلل من كفاءة أخذ العينات بسبب تشوه الحالة الوسيطة؛ تتطلب نمذجة الجزيئات البيولوجية إدخالًا إضافيًا لمشعبات دوارة، وتُعامل المجموعات الذرية كأجسام صلبة؛ ويجب أن تكون عملية انتشار البلورات والمواد متوافقة مع الخصائص الدورية، وأن تعمل على مشعب مشترك يتكون من معلمات متعددة الأبعاد مثل النوع الذري، والإحداثيات الكسرية، ومعلمات الشبكة - هذه الاختلافات تجعل النمذجة الموحدة عبر الأنظمة تحديًا طويل الأمد في هذا المجال.
وفي هذا السياق،اقترح فريق بحثي مشترك من مركز أبحاث الذكاء الاصطناعي الأساسي (FAIR) وجامعة كامبريدج ومعهد ماساتشوستس للتكنولوجيا حلاً رائدًا - محول الانتشار الذري الكامل (ADiT).
كإطار عمل موحد للانتشار الكامن يعتمد على المحول،الميزة الأساسية لتقنية ADiT هي كسر حاجز النمذجة بين الأنظمة الدورية وغير الدورية. من خلال ابتكارين رئيسيين، هما التمثيل الكامن الموحد للذرات وانتشار المحول الكامن، تُحقق هذه التقنية توليد الجزيئات والبلورات بنموذج واحد.تصميمه خالٍ تقريبًا من أي تحيز استقرائي، مما يجعل نموذج التشفير التلقائي والانتشار أكثر كفاءة بكثير من نموذج الانتشار المتساوي التغاير التقليدي في التدريب والاستدلال - ففي ظل نفس ظروف الأجهزة، ينخفض وقت توليد 10,000 عينة من ساعتين ونصف إلى أقل من 20 دقيقة. والأهم من ذلك، أنه عند توسيع معلمات النموذج إلى 500 مليون، يُظهر أداؤه تحسنًا خطيًا متوقعًا. تُرسي هذه الميزة أساسًا أساسيًا لبناء نموذج أساسي شامل للكيمياء التوليدية، مما يُمثل علامة فارقة في شمولية نمذجة النظام الذري وتطبيقها على نطاق واسع.
وقد تم اختيار نتائج البحث ذات الصلة لمؤتمر ICML 2025 تحت عنوان "محولات انتشار جميع الذرات: النمذجة التوليدية الموحدة للجزيئات والمواد".
أبرز الأبحاث:
* ADiT هي أول من قام بتوحيد النماذج التوليدية للمواد الدورية والأنظمة الجزيئية غير الدورية
* تعتمد تقنية ADiT على التمثيل الكامن الموحد لجميع الذرات وتستخدم المحول للانتشار الكامن، مما يبسط عملية التوليد بشكل فعال ولا يحتوي على أي تحيز استقرائي تقريبًا
* يتمتع ADiT بقدرة ممتازة على التوسع والكفاءة، كما أن سرعات التدريب والاستدلال الخاصة به تتجاوز بكثير سرعات نموذج الانتشار المتغير المتساوي
عنوان الورقة:
مزيد من أوراق البحث الرائدة في مجال الذكاء الاصطناعي:
https://go.hyper.ai/owxf6
مجموعة البيانات: من دورية إلى غير دورية، تغطي البيانات التجريبية في مجالات متعددة
في هذه الدراسة، اختار فريق البحث أولاً عدة مجموعات بيانات تمثيلية لإجراء التجارب:
* مجموعة بيانات MP20،يحتوي على 45231 بنية بلورية غير مستقرة من مشروع المواد، بحد أقصى 20 ذرة في الخلية الوحدوية، تغطي 89 عنصرًا مختلفًا، والتي يمكنها تمثيل أنظمة المواد الدورية بشكل جيد؛
* مجموعة بيانات QM9،وهو يتألف من 130.000 جزيء عضوي صغير مستقر، يحتوي على ما يصل إلى 9 ذرات ثقيلة (C، N، O، F) وذرات الهيدروجين، وهو ممثل نموذجي للأنظمة الجزيئية غير الدورية؛
* مجموعة بيانات GEOM-DRUGS،جزيئات عضوية كبيرة تحتوي على 430 ألف ذرة يصل عددها إلى 180؛
* مجموعة بيانات QMOF،يحتوي على 14000 هيكل معدني عضوي.
في،تتوافق MP20 و QM9 مع أنواع مختلفة من الأنظمة الذرية.ويوفر أساسًا للتدريب المشترك للنموذج على الأنظمة الدورية وغير الدورية، وقام فريق البحث بتقسيم البيانات وفقًا لطريقة البحث السابقة لضمان العدالة بالمقارنة مع النماذج الأخرى؛ كما يعمل GEOM-DRUGS وQMOF على توسيع نطاق اختبار النموذج بشكل أكبر ويمكنهما اختبار قدرة النموذج على التعميم بشكل أكثر شمولاً.
ADiT: بناء نموذج موحد لتوليد النظام الذري يعتمد على أفكار ثنائية النواة
باعتباره نموذج انتشار كامن، يدور التصميم الأساسي لـ ADiT حول فكرتين رئيسيتين لتحقيق نمذجة توليدية موحدة للأنظمة الذرية الدورية وغير الدورية.
الفكرة الرئيسية الأولى هي التمثيل الكامن الموحد لجميع الذرات،نظر فريق البحث إلى الأنظمة الذرية الدورية وغير الدورية كمجموعة من الذرات في فضاء ثلاثي الأبعاد، ثم طوروا تمثيلًا موحدًا يتضمن السمات التصنيفية لكل ذرة (مثل نوع الذرة) والسمات المستمرة (مثل إحداثياتها ثلاثية الأبعاد). من خلال تدريب مُرمِّز ذاتي متغير (VAE) لإعادة بناء الذرة بالكامل،يتمكن المشفر من تضمين الجزيئات والبلورات في مساحة كامنة مشتركة.وهذا يوفر إطارًا أساسيًا للمعالجة الموحدة لأنواع مختلفة من الأنظمة الذرية.
الفكرة الرئيسية الثانية هي استخدام المحول للانتشار الكامن.في المساحة الكامنة التي أنشأها مُرمِّز VAE، استخدم فريق البحث مُحوِّل الانتشار (DiT) لإجراء النمذجة التوليدية. أثناء عملية الاستدلال،بمساعدة تقنيات التمهيد الخالية من المصنف، يمكن أخذ عينات من المتغيرات الكامنة الجديدة.يمكن إعادة بناء هذه المتغيرات الكامنة إلى جزيئات أو بلورات صالحة من خلال فك تشفير VAE، وبالتالي إكمال التحول من الفضاء الكامن إلى النظام الذري الفعلي.
وبناءً على هاتين الفكرتين الأساسيتين، تنقسم الطريقة التجريبية لـ ADiT إلى مرحلتين وتتقدم بطريقة منظمة.
في المرحلة الأولى، قام الباحثون ببناء مشفر ذاتي لإعادة البناء.من خلال VAE، يتم إعادة بناء التمثيل الذري الكامل للجزيئات والمواد بشكل مشترك لتعلم وإنشاء مساحة كامنة مشتركة - وهذا هو الشرط الأساسي للنمذجة الموحدة للأنظمة الذرية المختلفة ويضع الأساس لعملية التوليد اللاحقة.
وفي المرحلة الثانية، قام الباحثون ببناء نموذج توليدي للانتشار الكامن.يُستخدم DiT لتوليد عينات جديدة من الفضاء الكامن، والتي تُفكّك إلى جزيئات أو بلورات صالحة دون توجيه المُصنِّف. تكمن الميزة المهمة لتصميم الانتشار الكامن هذا في نقل تعقيد معالجة التصنيف والسمات المستمرة إلى المُرمِّز التلقائي، مما يجعل عملية التوليد في الفضاء الكامن أبسط وأكثر قابلية للتطوير، مما يُحسِّن كفاءة النموذج وقابليته للتكيف بشكل فعّال في معالجة الأنظمة الذرية المختلفة.
أداء ADiT الرائد في توليد البلورات والجزيئات
ومن أجل تسليط الضوء بشكل كامل على مزايا الأداء التي توفرها تقنية ADiT، اختار فريق البحث أنواعًا متعددة من النماذج الأساسية للمقارنة المستهدفة.في مجال تكوين البلورات،تتضمن كائنات المقارنة CDVAE وDiffCSP وFlowMM ونماذج الانتشار المتغيرة الأخرى ومطابقة التدفق القائمة على متشعبات المنتجات متعددة الوسائط، بالإضافة إلى نموذج الانتشار غير المتغير UniMat والإطار المكون من مرحلتين FlowLLM؛في مجال توليد الجزيئات،يُقارن نموذج ADiT بنماذج أخرى مثل نموذج الانتشار المتساوي، ونموذج GeoLDM، ونموذج Symphony. ومن خلال المقارنة المنهجية مع النماذج الأساسية المتقدمة في هذه المجالات، تتضح مزايا أداء نموذج ADiT بوضوح.
من النتائج التجريبية المحددة،يحقق ADiT مستويات SOTA في مهام توليد البلورات والجزيئات.فيما يتعلق بتوليد البلورات، حققت البلورات المُولَّدة بتقنية ADiT أداءً جيدًا في معايير رئيسية مثل الفعالية والاستقرار والتفرد والحداثة. وفي مهمة توليد الجزيئات، احتلت تقنية ADiT المرتبة الأولى من حيث الفعالية والتفرد بين 10,000 جزيء مأخوذ من العينة.
تُحقق آلية التدريب المشترك لـ ADiT أيضًا مكاسب كبيرة في الأداء. تُظهر البيانات التجريبيةيتفوق برنامج ADiT، الذي تم تدريبه على كل من مجموعات البيانات QM9 وMP20، على الإصدار الذي تم تدريبه على مجموعة بيانات واحدة فقط في مهام توليد المواد والجزيئات.
يُعد توسيع حجم النموذج أمرًا متوقعًا لتحسين أداء تقنية ADiT. وكما هو موضح في الشكل أدناه، فمع ازدياد عدد معلمات مزيل ضوضاء DiT من 32 مليونًا (ADiT-S، أزرق) إلى 130 مليونًا (ADiT-B، برتقالي)، ثم إلى 450 مليونًا (ADiT-L، أخضر)، حتى في مجموعة بيانات متوسطة الحجم تضم حوالي 130,000 عينة، يستمر فقدان التدريب بالانتشار في الانخفاض وتزداد نسبة الفعالية باطراد، مما يُظهر تأثيرًا كبيرًا على النطاق. ويشير هذا الارتباط القوي بين حجم النموذج والأداء إلى أنه من المتوقع أن يُعزز توسيع معلمات النموذج وحجم البيانات تقنية ADiT لتحقيق المزيد من الإنجازات.
من حيث الكفاءة، يظهر ADiT ميزة سرعة كبيرة مقارنة بنموذج الانتشار المتغير المتساوي.كما هو موضح في الشكل أدناه، عند توليد 10,000 عينة على وحدة معالجة الرسومات NVIDIA V100، يُحسّن ADiT القياسي القائم على Transformer من حيث خطوات التكامل مقارنةً بـ FlowMM وGeoLDM، اللذين يستخدمان شبكات متكافئة المتغيرات كثيفة الحوسبة. على الرغم من أن حجم معاملات ADiT-B أكبر بمئة مرة من خط الأساس المتكافئ، إلا أن سرعة استنتاجه لا تزال أسرع، مما يُبرز ميزة بنية Transformer في قابلية التوسع.
بالإضافة إلى ذلك، تم إثبات قابلية توسع ADiT على أنظمة أكبر. ففي مجموعة بيانات جزيئية من GEOM-DRUGS تحتوي على 430,000 جزيء بحد أقصى 180 ذرة،يؤدي ADiT أداءً مماثلاً لنماذج الانتشار المتغير المتغير ومطابقة التدفق المتطورة من حيث الفعالية ومقاييس PoseBusters.ومن الجدير بالذكر أن ADiT يعتمد على بنية المحول القياسية، ولا يقدم أي تحيز استقرائي جزيئي تقريبًا، ولا يتطلب التنبؤ الصريح بالروابط الذرية، ولكنه يمكن أن يحقق أداءً مماثلاً لأداء النموذج المتغير المتساوي، مما يوضح بشكل أكبر تنوع تصميمه وإمكانية تطبيقه على نطاق واسع.
تعمل الصناعة والبحث بشكل مشترك على تعزيز الابتكار الرائد في توليد الهياكل ثلاثية الأبعاد للأنظمة الذرية
في الواقع، في مجال الأبحاث المتطورة للنمذجة التوليدية للهياكل ثلاثية الأبعاد للأنظمة الذرية، بذلت الأوساط الأكاديمية ومجتمع الأعمال جهودًا متواصلة وحققت العديد من النتائج الرائعة.
في الأوساط الأكاديمية،أطلق فريق بحثي من جامعة كاليفورنيا في بيركلي، ومايكروسوفت للأبحاث، وجينينتك طريقة متعددة الوسائط لتوليد البروتين تسمى PLAID.تستفيد هذه الطريقة بذكاء من المعلومات البنيوية في الأوزان المدربة مسبقًا لأداء مهام إزالة الضوضاء باستخدام DiT، مما يدل على أداء متفوق على طرق القياس الأخرى في تحليل الجودة البنيوية والتنوع لأطوال البروتين المختلفة.
ويستكشف مجتمع الأعمال أيضًا هذا المجال بشكل نشط، ويدفع عجلة التنمية من خلال الابتكار.أطلقت شركة BioGeo الصينية المتخصصة في ابتكار تصميم البروتين بالذكاء الاصطناعي، نموذج GeoFlow V2، وهو أول نموذج أساسي للبروتين متكامل في العالم.تم بناء بنية نموذج انتشار ذري موحد للتغلب على مهام التنبؤ ببنية البروتين وتصميمه بضربة واحدة. يتفوق GeoFlow V2 على المنتجات المماثلة من حيث دقة وسرعة التنبؤ ببنية معقد الأجسام المضادة والمستضد-الأجسام المضادة. أما Seedance 1.0، الذي أطلقته ByteDance، فيتبع نهجًا مختلفًا، حيث يستخدم حلاً تقنيًا يجمع بين مُرمِّزات تلقائية متغيرة ومحولات انتشار لتحقيق إنتاج فيديو سريع وفعال للذكاء الاصطناعي. تتيح ميزة السرعة التي يتميز بها هذا النظام آفاقًا جديدة للإنتاج الفوري والتطبيقات التفاعلية، مما يشير إلى آفاق واعدة في مجال التطبيقات التجارية.
تُسهم هذه الإنجازات العلمية في الأوساط الأكاديمية والممارسات المبتكرة في مجتمع الأعمال في تعزيز تطوير مجال نمذجة توليد الهياكل ثلاثية الأبعاد للنظام الذري. ومع التقدم التكنولوجي المستمر، سيلعب هذا المجال دورًا أكبر في جوانب عديدة، مثل أبحاث وتطوير المواد الجديدة وتصميم الأدوية، مما يُوفر دعمًا قويًا لحل المشكلات العلمية العالمية والتحديات الصناعية.
المقالات المرجعية:
1.https://mp.weixin.qq.com/s/oF3-y7z8u1XpEtjd4q1u4w
2.https://mp.weixin.qq.com/s/tK0-