الملخص

تطوير وكلاء ماديّين قادرين على أداء المهام التفاعلية المعقدة في السيناريوهات الحقيقية يظل تحديًا أساسيًا في الذكاء الاصطناعي المادي (Embodied AI). رغم أن التقدم الحديث في منصات المحاكاة قد زاد بشكل كبير من تنوع المهام لتدريب نماذج الرؤية واللغة المادية (VLMs)، إلا أن معظم المنصات تعتمد على هياكل روبوتية مبسطة وتتجاوز الطبيعة العشوائية للتنفيذ على المستوى الأدنى، مما يحد من قابلية نقلها إلى الروبوتات الحقيقية. لمعالجة هذه القضايا، نقدم منصة محاكاة تعتمد على الفيزياء DualTHOR للمروبوتات البشريّة ذات الذراعين المركبتين، والتي تم بناؤها على إصدار موسّع من AI2-THOR. يتضمن المحاكي لدينا أصول روبوت حقيقية، وحزمة مهام للتعاون بين الذراعين، وحلالات الكينماتيكا العكسية للروبوتات البشرية. كما نقدم آلية طوارئ تدمج الإخفاقات المحتملة عبر التنفيذ الفيزيائي على المستوى الأدنى، مما يساعد في جسر الهوة نحو السيناريوهات الحقيقية. يمكّن محاكيّنا من تقييم أكثر شمولًا لقوة تحمل وعمومية النماذج اللغوية المرئية (VLMs) في بيئات المنزل. كشفت التقييمات الواسعة أن النماذج اللغوية المرئية الحالية تواجه صعوبة في تنسيق الذراعين وتظهر قوة تحمل محدودة في البيئات الواقعية التي تتضمن حالات طوارئ، مما يؤكد أهمية استخدام محاكيّنا لتطوير نماذج أكثر قدرة لمهام الذكاء الاصطناعي المادي. يمكن الوصول إلى الكود عبر الرابط: https://github.com/ds199895/DualTHOR.git.