CarLLaVA: نماذج اللغة والرؤية لقيادة الدورة المغلقة باستخدام الكاميرا فقط

في هذا التقرير الفني، نقدم CarLLaVA، وهو نموذج لغة الرؤية (VLM) مصمم للقيادة الذاتية، والذي تم تطويره للمشاركة في تحدي القيادة الذاتية CARLA 2.0. يستخدم CarLLaVA مُشفِّر الرؤية من نموذج LLaVA VLM وبنية LLaMA كأساس، مما يتيح له تحقيق أداء قيادة دوري مغلق متقدم بفضل استخدامه المدخل الكاميرا فقط دون الحاجة إلى علامات معقدة أو باهظة الثمن. بالإضافة إلى ذلك، نعرض النتائج الأولية حول التنبؤ بالتعليقات اللغوية جنبًا إلى جنب مع الإخراج الخاص بالقيادة. يستخدم CarLLaVA تمثيل إخراج شبه منفصل لكل من التوقعات المسار والنقاط المرجعية (waypoints)، مما يوفر مزايا المسار لتحقيق سيطرة جانبية أفضل ومزايا النقاط المرجعية لتحقيق سيطرة طولية أفضل. نقترح وصفة تدريب فعالة لتدريب النموذج على قواعد بيانات القيادة الكبيرة دون إهدار الحسابات في البيانات السهلة والتافهة. حاز CarLLaVA على المركز الأول في مسار المستشعرات ضمن تحدي القيادة الذاتية CARLA 2.0، حيث تفوق بنسبة 458% على الحالة المتقدمة السابقة وبنسبة 32.6% على أفضل تقديم متزامن.