توحيد الصور الذاتية

تُعاني عملية دمج الصور عادةً من مشكلة عدم التماسك، والتي تُنتج بشكل رئيسي بسبب عدم التوافق بين الصورة الأمامية والخلفية المأخوذتين من صورتين مختلفتين تمتلكان سطوحًا وإضاءةً متمايزتين، مما يتوافق مع خصائص تعتمد على المادة وإضاءة الصورة، المعروفة بـ "صور الانعكاس" و"صور الإضاءة" المميزة، على التوالي. ولذلك، نسعى إلى حل مشكلة تماسك الصور من خلال فصل تماسك الانعكاس والإضاءة، أي من خلال تماسك الصور المميزة. تعتمد طريقة عملنا على مُشفّر تلقائي (autoencoder) يقوم بفصل الصورة المدمجة إلى مكوني الانعكاس والإضاءة، لتمكين عملية التماسك المنفصلة. وبشكل خاص، نُحسّن الانعكاس من خلال عقوبة الحفاظ على اتساق المواد، بينما نُحسّن الإضاءة من خلال تعلّم نقل الإضاءة من الخلفية إلى الصورة الأمامية. علاوةً على ذلك، نُعدّل علاقات البُقع بين الصورة الأمامية والخلفية في صورة تتعلم بدون تعارض، لتقديم توجيه تكيفي لعملية تماسك الصور المميزة. وقد أظهرت التجارب الواسعة والدراسات التحليلية قوة طريقة العمل هذه، فضلًا عن فعالية كل مكوّن فيها. كما نقدّم أيضًا مجموعة بيانات جديدة صعبة التحدي لقياس أداء تماسك الإضاءة. يمكن الوصول إلى الكود والبيانات من خلال الرابط: https://github.com/zhenglab/IntrinsicHarmony.