Lin Li Zehuan Huang Haoran Feng Gengxiong Zhuang Rui Chen Chunchao Guo Lu Sheng

الملخص

التعديل المحلي ثلاثي الأبعاد للمناطق المحددة يُعد أمرًا بالغ الأهمية في صناعة الألعاب والتفاعل بين الروبوتات. تُعتمد الطرق الحديثة عادةً على تعديل الصور المتعددة الزوايا المُ-rendered، ثم إعادة بناء النماذج ثلاثية الأبعاد، لكنها تواجه تحديات في الحفاظ بدقة على المناطق غير المُعدّلة والانسجام العام للنموذج. مستوحاة من النماذج التوليدية ثلاثية الأبعاد المنظمة، نقدّم "VoxHammer"، منهجية جديدة لا تتطلب تدريبًا، تُجري تعديلات دقيقة ومتوازنة في الفضاء الثلاثي الأبعاد الخفي. عند إدخال نموذج ثلاثي الأبعاد، يُقدّر VoxHammer أولاً مسار التحويل العكسي (inversion trajectory) للنموذج، ويحصل على القيم الخفية (latents) والرموز المفتاحية-القيمة (key-value tokens) عند كل خطوة زمنية. ثم، في مرحلة إزالة الضوضاء والتعديل، نستبدل ميزات إزالة الضوضاء للمناطق المحفوظة بالقيم الخفية المُعاد تشكيلها والرموز المحفوظة مسبقًا. وباستبقاء هذه السمات السياقية، تضمن هذه الطريقة إعادة بناء مناطق محفوظة متسقة، ودمجًا متناسقًا للمناطق المُعدّلة. ولتقييم انسجام المناطق المحفوظة، أنشأنا "Edit3D-Bench"، وهو مجموعة بيانات مُANNOTATED بشرية تضم مئات العينات، مع تحديد دقيق لمناطق التعديل ثلاثية الأبعاد في كل عينة. تُظهر التجارب أن VoxHammer يتفوّق بشكل كبير على الطرق الحالية من حيث اتساق المناطق المحفوظة ثلاثي الأبعاد والجودة الشاملة. تُعدّ هذه الطريقة واعدة في إنشاء بيانات مُعدّلة مزدوجة عالية الجودة، مما يُشكّل الأساس البياناتي للإطلاق ثلاثي الأبعاد القائم على السياق. لمزيد من التفاصيل، يُرجى زيارة صفحتنا الرسمية على: https://huanngzh.github.io/VoxHammer-Page/.