شهدت مسألة التجزئة المرجعية الصوتية-البصرية (RAVS) تقدماً ملحوظاً في الآونة الأخيرة، ومع ذلك تبقى التحديات قائمة في دمج المعلومات متعددة الوسائط وفهم وتحليل محتوى الصوت والصورة بشكل عميق. ولتمديد حدود مجال RAVS وتمكين الأبحاث المستقبلية في هذا المجال، نقترح مجموعة بيانات جديدة تُسمى التجزئة الصوتية-البصرية المرجعية الشاملة (OmniAVS)، والتي تحتوي على 2,098 مقطع فيديو و59,458 تعبيراً مرجعياً متعدد الوسائط. تتميز OmniAVS بثلاثة ابتكارات رئيسية: (1) تضمين ثمانية أنواع من التعبيرات متعددة الوسائط التي تجمع بشكل مرن بين النص، والكلام، والصوت، والإشارات البصرية؛ (2) التركيز على فهم محتوى الصوت لا يقتصر على اكتشاف وجوده فقط؛ (3) دمج التفكير المعقد والمعرفة بالعالم في التعبيرات. بالإضافة إلى ذلك، نقدم منصة المساعد المُوجَّه متعدد الوسائط للتجزئة (OISA)، بهدف التصدي للتحديات المتعلقة بالاستدلال متعدد الوسائط والفهم الدقيق لمحتوى الصوت والصورة في مجموعة بيانات OmniAVS. تعتمد OISA على النماذج اللغوية والبصرية المتعددة (MLLM) لفهم الإشارات المعقدة وإجراء تجزئة قائمة على الاستدلال. وقد أظهرت التجارب الواسعة أن OISA تتفوق على الطرق الحالية على مجموعة بيانات OmniAVS، وتُحقّق نتائج تنافسية في مهام أخرى ذات صلة.