التمييز التفاعلي للأجسام في السحابات النقطية ثلاثية الأبعاد
نقترح نهجًا تفاعليًا لتقسيم النماذج ثلاثية الأبعاد، حيث يمكن للمستخدمين التعاون بشكل متكرر مع نموذج التعلم العميق لتقسيم الأجسام في السحابة النقطية ثلاثية الأبعاد مباشرة. تتم تدريب الأساليب الحالية لتقسيم النماذج ثلاثية الأبعاد عادةً بطريقة مراقبة كاملة، مما يتطلب كميات كبيرة من بيانات التدريب المكلفة، ولا تتعمم بشكل جيد على الفئات التي لم يتم رؤيتها أثناء التدريب. قليل من الأعمال حاولت الحصول على أقنعة تقسيم ثلاثي الأبعاد باستخدام التفاعلات البشرية. تعتمد الطرق الموجودة على ملاحظات المستخدم في مجال الصور ثنائية الأبعاد. نتيجة لذلك، يتعين على المستخدمين التبديل باستمرار بين الصور ثنائية الأبعاد والتمثيلات ثلاثية الأبعاد، ويُستخدم تصاميم معمارية مخصصة لدمج العديد من أنماط الإدخال. وبالتالي، فإن دمج هذا النهج مع النماذج ثلاثية الأبعاد القياسية القائمة ليس أمرًا مباشرًا. الفكرة الأساسية لهذا العمل هي تمكين المستخدمين من التفاعل مباشرة مع السحب النقطية ثلاثية الأبعاد عن طريق الضغط على الأجسام المرغوبة ذات الاهتمام (أو خلفيتها) لتقسيم المشهد تفاعليًا في بيئة عالم مفتوح. تحديدًا، لا يتطلب طريقة عملنا بيانات تدريب من أي مجال مستهدف، ويمكنها التكيف مع بيئات جديدة حيث لا تكون هناك مجموعات تدريب مناسبة متاحة. يقوم نظامنا بتعديل تقسيم الأجسام باستمرار بناءً على ملاحظات المستخدم وتحقيق أقنعة تقسيم كثيفة ودقيقة في ثلاثة أبعاد بجهد بشري ضئيل (قليل من الضغط لكل جسم). بالإضافة إلى إمكاناتها في وضع العلامات بكفاءة على مجموعات البيانات الثلاثية الأبعاد الكبيرة والمتنوعة، يتيح نهجنا الذي يتفاعل فيه المستخدم مباشرة مع البيئة ثلاثية الأبعاد تطبيقات جديدة في الواقع المعزز/الواقع الافتراضي والتواصل البشري-الروبوتي.