💡 HiDiffusion: إطلاق العنان للإبداع والكفاءة عالية الدقة في نماذج الانتشار المُدرَّبة مسبقًا

مقدمة عن HiDiffusion

HiDiffusion هو إطار عمل مبتكر تم تطويره بواسطة Megvii Technology بهدف تعزيز الإبداع وكفاءة نماذج الانتشار المدربة مسبقًا في إنشاء صور عالية الدقة. هذه طريقة يمكنها تحسين دقة وسرعة نماذج الانتشار المدربة مسبقًا دون تدريب. من خلال تطبيق HiDiffusion على نماذج الانتشار المدربة مسبقًا، لا يمكن زيادة دقة إنشاء الصورة إلى 4096×4096 فحسب، بل يمكن أيضًا زيادة سرعة إنشاء الصورة بمقدار 1.5 إلى 6 مرات. لا يحل هذا النهج مشاكل تكرار الكائنات والعبء الحسابي العالي فحسب، بل يحقق أيضًا نتائج ممتازة في مهمة إنشاء صور عالية الدقة.

يدعم المشروع مجموعة متنوعة من المهام بما في ذلك النص إلى الصورة، والصورة إلى الصورة، واستعادة الصورة.

أمثلة التأثير

(أسرع، وتفاصيل الصورة أفضل.)

(2K نتائج ControlNet ومهام الطلاء.)

كيفية الاستخدام

1. أولاً، استنسخ الحاوية وابدأ تشغيل الحاوية وفقًا للخطوات

2. انسخ عنوان API الناتج إلى متصفحك واستخدمه

3. ثلاث طرق للاستخدام

ينطبق HiDiffusion على الطرق الثلاثة التالية، والتي تتوافق جميعها مع نموذج. عند استخدام طريقة ما، سيتم تحميل النموذج أولاً، ثم سيتم إنشاء الصورة. إذا قمت بتبديل الأساليب، سيتم إعادة تحميل النموذج.

3.1 الطريقة الأولى: تحويل النص إلى صورة

قم بإنشاء صور عن طريق إدخال كلمات إيجابية وكلمات عكسية.

كلمات تحفيزية إيجابية: يصف ما تريد رؤيته في الصورة،

على سبيل المثال: يقف جوليم حجري طويل القامة وسط الأنقاض، وتنمو الكروم والزهور من الشقوق في جسده.

كلمة سريعة عكسية:يتم استخدامه لوصف المحتوى الذي لا يرغب في ظهوره في الصورة، ولتحسين النتائج الناتجة عن طريق استبعاد العناصر غير الضرورية.

على سبيل المثال: ضبابي، قبيح، مكرر، وجه مرسوم بشكل سيئ، مشوه، فسيفساء، تحف، أطراف سيئة.

تظهر خطوات الاستخدام وتأثيرات التوليد في الشكل أدناه

3.2 الطريقة 2: استخدام ControlNet لإنشاء الرسوم البيانية

كونترول نت:قم بإنشاء صورة بناءً على الخطوط العريضة للصورة الأصلية وفقًا للكلمة الموجهة. أولاً، قم باستخراج الخطوط العريضة للصورة الأصلية، ثم قم بإنشائها بناءً على هذه الخطوط العريضة. تظهر العملية في الشكل أدناه

3.3 الطريقة الثالثة: تلوين الصورة

الصورة الأصلية:أدخل الصورة المراد إصلاحها

منطقة الإصلاح:أدخل المنطقة المراد إصلاحها، والتي هي في الواقع صورة ثنائية، حيث تكون المنطقة البيضاء هي المنطقة المراد إصلاحها، والمنطقة السوداء هي المنطقة المجمدة. عند الإصلاح، قم بتعديل المنطقة البيضاء وفقًا لتعليمات Zheng Dan!

على سبيل المثال، الكلمات الإيجابية المطلوبة هي: يقف مستكشف ستيم بانك يرتدي قبعة طيار جلدية ونظارات واقية، ويحمل تلسكوبًا نحاسيًا في يده، وسط أشجار قديمة شاهقة، وجذورها متشابكة مع تروس وأنابيب معقدة. (يقف مستكشف ستيم بانك يرتدي قبعة طيار جلدية ونظارات واقية، ويحمل تلسكوبًا نحاسيًا في يده، وسط أشجار قديمة شاهقة، جذورها متشابكة مع تروس وأنابيب معقدة.)

الكلمات الموجبة العكسية هي: ضبابي، قبيح، مكرر، وجه مرسوم بشكل سيئ، مشوه، فسيفساء، تحف، أطراف سيئة.