التتبع بناءً على المواصفات باللغة الطبيعية

تسعى هذه الورقة إلى تتبع كائن مستهدف في مقطع فيديو. بدلًا من تحديد الكائن المستهدف في الإطار الأول من الفيديو باستخدام مربع حدودي، نقترح تتبع الكائن بناءً على وصف لغوي طبيعي له، مما يوفر تفاعلًا إنسانيًا آليًا أكثر طبيعية، كما يوفر وسيلة لتحسين نتائج التتبع. نعرّف ثلاث نماذج لتقنيات التتبع باستخدام وصف لغوي: إحداها تعتمد فقط على وصف لغوي للكائن المستهدف، والأخرى تعتمد على وصف بصري للكائن المستهدف بناءً على اللغة، والثالثة تستفيد من القدرات المشتركة لكليهما. ولإظهار الإمكانات الكامنة في تتبع الكائنات باستخدام وصف لغوي طبيعي، قمنا بتوسيع مجموعتين شهيرتين من بيانات التتبع بإضافة وصفات لغوية، وقمنا بإعداد تجارب ونتائج متعلقة بذلك. وأخيرًا، نقترح أيضًا سيناريوهات جديدة للتتبع في مجالات المراقبة والتدفقات الحية للفيديوهات، التي أصبحت ممكنة بفضل تحديد الكائن المستهدف باستخدام وصف لغوي.