تواجه بيانات المصادر الملونة (RGB) والحرارية تحديات مشتركة ومحددة، ولعب دور حاسم في استكشاف واستغلال هذه التحديات يساهم بشكل كبير في تمثيل مظهر الهدف في تتبع RGBT. في هذا البحث، نقترح شبكة عصبية جديدة واعية للتحديات لمعالجة التحديات المشتركة بين الوسائط (مثل الحركة السريعة، تغير الحجم، والإخفاء) والتحديات المحددة لكل وسيلة (مثل تغير الإضاءة والتداخل الحراري). بصفة خاصة، صممنا عدة فروع تشترك في المعلمات في كل طبقة لنمذجة مظهر الهدف تحت التحديات المشتركة بين الوسائط، وفروعًا مستقلة عن المعلمات تحت التحديات المحددة لكل وسيلة. بناءً على الملاحظة أن المؤشرات الخاصة بكل وسيلة من الوسائط المختلفة غالبًا ما تحتوي على مزايا مكملة، اقترحنا وحدة إرشاد لنقل الخصائص التمييزية من وسيلة إلى أخرى، مما يمكن أن يعزز قدرة بعض الوسائل الضعيفة على التمييز. بالإضافة إلى ذلك، يتم جمع جميع الفروع معًا بطريقة تكيفية وتضمينها بالتوازي في الشبكة الأساسية لتشكيل تمثيلات هدف أكثر تمييزًا بكفاءة. يمكن لهذه الفروع الوعية بالتحديات نمذجة مظهر الهدف تحت تحديات معينة بحيث يمكن تعلم التمثيلات المستهدفة بواسطة عدد قليل من المعلمات حتى في حالة وجود بيانات تدريب غير كافية. ومن خلال النتائج التجريبية سنوضح أن طريقتنا تعمل بسرعة زمنية حقيقية بينما تؤدي أداءً جيدًا مقابل أفضل الأساليب الموجودة على ثلاثة مجموعات بيانات مرجعية.