كيف نجعل ذاكرة الروبوت أكثر موثوقية في ظل ميزانية استعلامات محدودة؟ MIT يطرح UQ-DAAAM لإدخال تقييم عدم اليقين إلى الذاكرة الزمانية والمكانية

مع انتقال الروبوتات تدريجيًا من مهام قصيرة ومفردة إلى عمليات تشغيل مستقلة طويلة الأمد في بيئات مفتوحة، تحتاج إلى بناء ذاكرة طويلة الأمد قادرة على حفظ الكائنات وعلاقاتها المكانية عبر الزمن وعبر المنظورات المختلفة، لدعم مهام مثل التنقل، والعثور على الكائنات، والأسئلة والأجوبة المكانية الزمانية.

في السنوات الأخيرة، وفّر وصف المشاهد القائم على نماذج الرؤية واللغة (VLM) مسارًا جديدًا لبناء ذاكرة دلالية للروبوتات، لكن مخرجات VLM غالبًا ما تكون مشوبة بالضوضاء، وقد تظهر عدم اتساق دلالي تحت منظورات رصد مختلفة— فعندما تكون الكائنات بعيدة، أو محجوبة بسبب المنظور، أو في بيئات إضاءة معقدة، قد يولّد VLM نصًا يبدو واثقًا جدًا لكنه يصف خصائص الكائن بشكل خاطئ. فمثلًا، في أنظمة ذاكرة من نوع DAAAM، إذا كان المنظور المختار منخفض الجودة، فقد تحتوي مدخلات الذاكرة الناتجة على معلومات خاطئة، دون أن يدرك النظام ذلك.

لمواجهة هذا التحدي، أدخل فريق بحثي من معهد ماساتشوستس للتكنولوجيا (MIT) تقييم عدم اليقين إلى نظام ذاكرة دلالية مكانية متقدم، وأطلق عليه اسم UQ-DAAAM. وفي ظل قيود ميزانية استعلام ثابتة، يستغل UQ-DAAAM هذا التقييم لتحسين الكائنات ذات عدم اليقين المرتفع بشكل استباقي: وذلك من خلال انتقاء منظورات عالية الجودة للحصول على أوصاف جديدة، ثم دمج الأوصاف المولدة من منظور متعدد لتكوين وصف موحد للكائن. وتُظهر النتائج التجريبية أن قياس عدم اليقين يحسّن موثوقية وفعالية أنظمة الذاكرة رباعية الأبعاد للذكاء المتجسد. وفي مقياس OC-NaVQA، مقارنة بالطرق الأساسية، يستطيع UQ-DAAAM تقليل عدم اليقين بشكل ملحوظ وتحقيق أداء أفضل في الأسئلة والأجوبة المكانية الزمانية.

نُشِرَت النتائج البحثية ذات الصلة تحت عنوان «Remember with Confidence: Uncertainty Quantification for Spatio-temporal Memory with Probabilistic Guarantees»، وستُنشر في NeurIPS.

أبرز النقاط البحثية:

• تقديم طريقة لتقييم عدم اليقين على مستوى الكائن: إنشاء مقياس لعدم اليقين الدلالي على مستوى الكائن لأوصاف الصور متعددة المنظورات
• تقديم استراتيجية تحسين ودمج استباقية ضمن قيود الميزانية: عند محدودية ميزانية استعلامات VLM الإضافية، إعطاء الأولوية لتحسين الكائنات ذات عدم اليقين المرتفع، ودمج الأوصاف متعددة المنظورات.
• تقديم ضمانات احتمالية لاستراتيجية اختيار المنظور: ربط نظري بين طريقة تقييم جودة المنظور في DAAAM وتقليل عدم اليقين في خطوة واحدة، واشتقاق صيغة تحديث مغلقة مقابلة

عنوان الورقة:

https://arxiv.org/pdf/2606.08277

معالجة البيانات المسبقة، وإعادة بناء المشهد، والتجزئة والتتبع

مجموعة البيانات والمعالجة المسبقة

قيّم الباحثون أداء UQ-DAAAM في مهمة الأسئلة والأجوبة المكانية الزمانية على مجموعة بيانات القيادة الخارجية CODa. توفر هذه المجموعة صورًا مجسمة ثنائية العين بمعدل 30 هرتز، وخرائط عمق مولدة من إسقاط الليدار (LiDAR)، ومعلومات وضعية متسقة عالميًا.

استُخدمت في جميع التجارب صور مجمّعة من الكاميرا الأمامية (cam0)، وخضعت الصور لقص مركزي وتغيير حجم، لتصل الدقة النهائية إلى 480×640 بكسل. جاءت بيانات العمق من إسقاط تقديري خام ثلاثي الأبعاد لليدار، وخضعت للترشيح بحيث لا يُحتفظ إلا بالبيانات التي يتراوح عمقها بين [0.05, 20.0] متر. عولجت إطارات الفيديو بمعدل 10 هرتز، بما يتوافق مع معدل نشر بيانات المستشعرات.

إعادة بناء المشهد

استخدم الباحثون Khronos لبناء رسم مشهد ثلاثي الأبعاد في الوقت الفعلي. حُدد حجم الفوكسل لحقل المسافة الإشارية المقطوعة (TSDF) عند 0.2 متر، وحُددت مسافة القطع عند 0.6 متر.

وُضعت معاملات استخراج مقاطع الكائنات (Object Fragments) على النحو التالي: الحد الأدنى للحجم 0.005 متر مكعب، والحد الأقصى 50 مترًا مكعبًا؛ يجب أن يحصل كل مقطع كائن على 8 مشاهدات على الأقل، وألا تقل ثقة التقطيع عن 0.5.

ضُبط عرض المواضع القابلة للعبور (Traversability Places) بين 0.4 و2.0 متر، مع تفعيل إسقاط التسميات إلى مستوى الأرض.

التجزئة والتتبع

استخدم الباحثون FastSAM لإجراء تجزئة أمثلة بمفردات مفتوحة، وتم تجميعها كمحرك TensorRT، وكانت دقة صورة الإدخال 480×640 بكسل، مع ضبط الحد الأدنى لمساحة قناع التجزئة عند 400 بكسل.

اعتمد تتبع الكائنات على ByteTrack، مع مطابقة السمات المظهرية عبر نموذج إعادة التعرف على المظهر (ReID) مبني على CLIP، وهو أيضًا منتشر على محرك TensorRT. أما معاملات التتبع، فحُددت عتبة ثقة المسار الجديد (new track) عند 0.6، وطول تخزين المسار (track buffer) عند 30 إطارًا. يجب أن يجمع مسار الكائن 8 مشاهدات على الأقل قبل أن يدخل مرحلة الوسم الدلالي.

إطار UQ-DAAAM: من تحديد عدم اليقين إلى المراقبة الاستباقية والدمج الدلالي

يقوم هذا البحث على أساس DAAAM، الذي يستطيع بناء رسم مشهد رباعي الأبعاد في الوقت الفعلي من تدفق بيانات RGB-D. يوضح الشكل أدناه الإطار العام لـ UQ-DAAAM، وتتضمن عملية البناء ثلاث مراحل رئيسية: قياس عدم اليقين، واختيار المنظور الاستباقي، وتجميع الأوصاف متعددة المنظورات:

① قياس عدم اليقين (Uncertainty Quantification)

لقياس عدم اليقين الدلالي المتمحور حول الكائن، أدخل الباحثون طريقة القياس الدلالي الحجمي (Volumetric Semantic Measurement) إلى مشهد بناء ذاكرة الروبوت متعددة الزوايا في DAAAM.

في سيناريو البحث هذا، يُلاحظ كل كائن من عدة زوايا مختارة، وكل زاوية يولّد منها VLM وصفًا بلغة طبيعية. عندما تكون الأوصاف المولدة في زوايا مختلفة غير متسقة دلاليًا، أو عندما يكون الاتساق الداخلي لوصف واحد ضعيفًا، يجب أن تزداد حالة عدم اليقين في النظام تبعًا لذلك. لذلك، يجمع أسلوب الحساب في هذه الدراسة بين جانبين: تشتت الدلالة عبر الزوايا (Cross-view Semantic Scatter) وعدم الاتساق لكل زاوية (Per-view Incoherence).

كلما زاد الاختلاف في الاتجاه الدلالي بين الأوصاف عبر الزوايا، أو كلما كان الوصف الواحد أقل اتساقًا، كانت حالة عدم اليقين المحسوبة أعلى عادة. وبذلك لا يعتمد النظام فقط على درجة ثقة وصف واحد، بل يفحص شموليًا اتساق المعلومات متعددة الزوايا، والموثوقية الذاتية لكل وصف.

② اختيار الزاوية النشط (Active View Selection)

بعد إتمام التقييم الأولي لعدم اليقين، يقارن النظام عدم اليقين على مستوى الكائن مع عتبة محددة مسبقًا. عندما يكون عدم اليقين لكائن ما أعلى من العتبة، فهذا يعني أن التفسير الدلالي في الذاكرة الحالية لا يزال يحتمل غموضًا كبيرًا، وأن هناك حاجة إلى مزيد من أدلة الملاحظة. وفي هذه الحالة لا يوزع النظام ميزانية الاستعلامات الإضافية بالتساوي على جميع الكائنات، بل يعالج أولًا الكائنات ذات عدم اليقين الأعلى.

نظريًا، يمكن نمذجة اختيار زوايا إضافية كمشكلة تصميم التجارب الأمثل البايزي (BOED): كل زاوية مرشحة تعادل تجربة، والحالة الدلالية المحتملة للكائن هي الهدف المراد استنتاجه، والوصف الذي يولده نموذج اللغة البصرية في الزاوية الجديدة هو نتيجة التجربة. في الحالة المثالية، يجب أن يختار النظام الزاوية التي تقلل عدم اليقين المتوقع إلى أقصى حد.

③ تجميع الأوصاف متعددة الزوايا (Multi-view Descriptions Aggregation)

بعد اختيار الزوايا بناءً على عدم اليقين، يرتبط كل كائن بمجموعة من الأوصاف النصية القادمة من زوايا مختلفة. يقوم الباحثون بدمج هذه الأوصاف في وصف موحد للكائن من خلال خطوة تجميع مقيّدة قائمة على نموذج لغة كبير (LLM). على وجه التحديد، يرتب النظام الأوصاف حسب مرحلة الحصول عليها، بحيث تأتي الأوصاف المولدة من الزوايا الأولية أولًا، وتأتي الأوصاف التي تم الحصول عليها في مرحلة التحسين النشط لاحقًا. وعند معالجة التعارضات بين الأوصاف المختلفة، يُوجَّه LLM لإعطاء الأولوية للأوصاف المكتسبة لاحقًا (أي الأوصاف المولدة في مرحلة التحسين).

إذا كان الخلاف موجودًا فقط بين أوصاف الزوايا الأولية، فإن الوصف المدمج يتبنى صياغة حذرة تُبقي الاحتمالات المختلفة قائمة، بدلًا من إزالة الغموض مبكرًا. بالإضافة إلى ذلك، تفرض الدراسة قيودًا إضافية على LLM: لا يمكن لنتيجة الدمج استخدام سوى المعلومات الواردة بالفعل في وصف مصدري واحد على الأقل، لمنع النموذج من توليد معلومات هلوسة.

UQ-DAAAM يحقق أداءً أفضل في الأسئلة والأجوبة المكانية-الزمنية

قيّم الباحثون UQ-DAAAM من نواحٍ متعددة، بما في ذلك أداء الأسئلة والأجوبة المكانية-الزمنية في المهام اللاحقة، وتأثير تقليل عدم اليقين، وإزالة المكونات، وكفاءة التشغيل.

① تقييم مهمة OC-NaVQA

في مهمة OC-NaVQA، قارن الباحثون UQ-DAAAM مع DAAAM الأصلي، ومع عدة أسس للتحسين النشط وتكميم عدم اليقين. حيث يستخدم DAAAM-RR طريقة عشوائية لتخصيص ميزانية استعلامات الزوايا الإضافية؛ ويوزع DAAAM-QR الميزانية على الكائنات ذات الجودة الأقل اعتمادًا على درجات جودة الزوايا الأصلية؛ بالإضافة إلى ذلك، تمت مقارنة طرق مبنية على إشارات عدم يقين مختلفة، مثل اتساق الجوار، واللوغاريتم الطبيعي للرمز التالي، والإنتروبيا، ودرجات الأدلة.

تُظهر نتائج الجدول أدناه أن UQ-DAAAM يتفوق على جميع طرق الأساس الأخرى في مقاييس التقييم الثلاثة، مع تحقيق التحسن الأبرز في دقة الأسئلة وخطأ الموقع. وهذا يشير إلى أن التحسين النشط الواعي بعدم اليقين يستطيع توزيع ميزانية الاستعلام الدلالي الثابتة بفعالية أكبر، مما يحسّن جودة الذاكرة.

② تقييم تقليل عدم اليقين (Uncertainty Reduction)

بالإضافة إلى الأداء في المهام اللاحقة، قيّمت الدراسة مباشرة ما إذا كان التحسين النشط قد حقق هدفه المباشر، أي تقليل عدم اليقين الدلالي على مستوى الكائن. المقياس الرئيسي المستخدم هو معدل تقليل عدم اليقين (URR)، ويُعرَّف بأنه نسبة عدد الكائنات التي حُكم عليها بأنها غير يقينية في المرحلة الأولية وانخفض عدم يقينها بعد التحسين النشط إلى ما دون العتبة، من إجمالي عدد الكائنات غير اليقينية في البداية.

تشير نتائج تقليل عدم اليقين في الصورة أدناه إلى أن UQ-DAAAM يتميز بتفوق واضح مقارنة بأسلوبين أساسيين للتحسين النشط لا يعتمدان على عدم اليقين. عندما تكون ميزانية التحسين النشط ثابتة عند (B=2)، يصل URR الخاص بـ UQ-DAAAM إلى 92.3%؛ وتكون طريقة التحسين القائمة على جودة الزاوية (DAAAM-QR) عند 34.2%، بينما تكون طريقة التحسين العشوائية (DAAAM-RR) عند 5.6% فقط. بالإضافة إلى ذلك، جعل UQ-DAAAM توزيع عدم اليقين بعد التحسين النشط ينزاح بوضوح إلى اليسار، مما يدل على أن الطريقة يمكنها تحقيق تقليل أكبر في عدم اليقين وأكثر استقرارًا عبر عدد أكبر من الكائنات.

تشير هذه النتائج إلى أن طريقة التحسين النشط الواعية بعدم اليقين المقترحة في هذه الورقة تتمتع بكفاءة تحسين أعلى بكثير.

③ تجارب الإزالة (Ablations)

كما أجرت الدراسة عدة تجارب إزالة لتفكيك مصادر أداء UQ-DAAAM بشكل أكبر: أولاً، مع زيادة ميزانية التحسين الإضافية لكل كائن من (B=1) إلى (B=3)، استمر تحسين تقليل عدم اليقين في التحسن، لكن العوائد الهامشية تضاءلت تدريجياً. كما هو موضح في الصورة أدناه، تحققت معظم المكاسب عند (B=2)؛ وأظهر أداء OC-NaVQA اللاحق الاتجاه نفسه، مما يشير إلى أن عدداً قليلاً من الزوايا الإضافية يكفي عادةً لحل معظم الغموض الدلالي للكائنات.

ثانياً، فيما يتعلق باختيار الكائنات المُحسَّنة، تفوّق مقياس عدم اليقين الكامل على الحلول التي تستخدم فقط تشتت الأوصاف بين الزوايا، أو التي لا تأخذ في الاعتبار وزن عدم الاتساق أحادي الزاوية، مما يدل على أن النظر في كل من الاختلافات الدلالية بين الزوايا وجودة الوصف الواحد يوفر حكماً أكثر فعالية على عدم اليقين. وفيما يتعلق باختيار زوايا التحسين، أدّى الاختيار العشوائي إلى انخفاض واضح في أداء النظام؛ واستراتيجيتا التوجيه القائم على اتجاه مراقبة الكائن وتقييم جودة الزاوية كانتا متقاربتين في الأداء، بينما تمكنت الدرجات المرجّحة بالجودة من ترشيح زوايا المرشحين بشكل أكبر.

أظهرت تجارب دمج الأوصاف متعددة الزوايا أيضاً أن استراتيجية الدمج تؤثر بدورها في جودة الذاكرة النهائية. مقارنةً باستخدام أفضل وصف واحد فقط، أو دمج الأوصاف الأولية أو أوصاف مرحلة التحسين فقط، أو الدمج العادي بواسطة LLM دون قواعد معالجة التعارض، حققت الطريقة المقيدة والمدركة للمراحل التي تقترحها الورقة أفضل أداء. وهذا يعني أن الحصول على ملاحظات إضافية بشكل استباقي ليس كل شيء؛ فكيفية التمييز بين المعلومات من مراحل مختلفة، ومعالجة الأوصاف المتعارضة، تحدد أيضاً ما إذا كانت الأدلة الجديدة يمكن تحويلها بشكل فعّال إلى ذاكرة موثوقة.

فيما يتعلق بعتبات التحسين الاستباقي، قارنت التجارب الإعدادات المقابلة لمختلف المقاييس الكمية لتوزيع عدم اليقين على مستوى الكائن. أظهرت النتائج تحسناً ملحوظاً في الأداء عند ضبط العتبة من المئين العاشر إلى المئين العشرين؛ وظل هناك تحسن إضافي عند ضبطها إلى المئين الثلاثين، بينما كانت المكاسب الإضافية عند المئين الأربعين محدودة. بناءً على ذلك، يرى الباحثون أن العتبة الافتراضية تحقق توازناً جيداً بين تكلفة الاستعلامات الدلالية والعوائد في المهام اللاحقة.

الخاتمة

يوفر UQ-DAAAM نهجاً مستنيراً بعدم اليقين للذاكرة الزمانية والمكانية طويلة الأمد للروبوتات: فبدلاً من اعتبار الأوصاف المولدة من نموذج اللغة البصرية حقائق موثوقة مباشرة، يتعرف النظام على الغموض المحتمل من خلال الاختلافات الدلالية بين الزوايا وجودة الوصف أحادي الزاوية، ثم يستخدم الملاحظات الاستباقية لإكمال الأدلة، ويشكّل ذاكرة كائنات أكثر استقراراً عبر دمج الأوصاف المقيد. في المستقبل، يأمل الباحثون في استخدام UQ-DAAAM لتوجيه أنواع مختلفة من الروبوتات، مثل أذرع الروبوتات المتنقلة، وتطبيق تقنيات قياس عدم اليقين الخاصة بهم على مجالات أخرى.

المراجع:

https://arxiv.org/pdf/2606.08277 https://news.mit.edu/index%2ephp/2026/clearing-up-robot-fuzzy-memory-1105