Heeseong Shin Byeongho Heo Dongyoon Han Seungryong Kim Taekyung Kim

الملخص

رغم التقدم الكبير الذي أحرزته التمثيلات البصرية المُدرَّبة مسبقًا في تعلم الاقتداء، فإنها غالبًا ما تكون غير مُخصَّصة للمهام، نظرًا لثباتها أثناء تعلُّم السياسة. في هذا العمل، نستكشف إمكانية الاستفادة من نماذج التوليد البصري من نوع نص إلى صورة المُدرَّبة مسبقًا لاستخلاص تمثيلات بصرية مُتَعَدِّلة حسب المهمة في سياق التحكم بالروبوتات، دون الحاجة إلى تدريب نموذج التوليد نفسه. ومع ذلك، نجد أن تطبيق الشروط النصية بشكل مباشر – وهي استراتيجية ناجحة في مجالات بصرية أخرى – يُحقِّق مكاسب ضئيلة أو حتى تراجعًا في مهام التحكم. ونُرجِّح هذا التأثير إلى الفجوة بين بيانات تدريب نموذج التوليد وبيئات التحكم بالروبوتات، ما يدفعنا إلى دعوة لاستخدام شروط تأخذ بعين الاعتبار المعلومات البصرية المحددة والديناميكية المطلوبة فعلاً في مهام التحكم. ولهذا الغرض، نُقدِّم ORCA، التي تُقدِّم شروطًا مُتَعَلِّمَة مخصصة للمهمة، تتكيف مع بيئة التحكم، إلى جانب شروط بصرية تُمكِّن من التقاط تفاصيل دقيقة ومرتبطة بكل إطار. وبفضل تمكين التمثيلات المُتَعَدِّلة حسب المهمة من خلال الشروط المُحدَّثة التي طوَّرناها، تُحقِّق طريقة عملنا أداءً مُتقدِّمًا على أحدث المعايير في مهام التحكم بالروبوتات، متفوِّقةً بشكل ملحوظ على الطرق السابقة.