LLM يقيّم مطابقة الهوية بتكلفة أقل 4 مرات
اختبرت شركة هيتاتش قدرة نماذج اللغة الكبيرة على تقييم نتائج تحديد الهوية بدلا من المراجعة البشرية، وتوصلت إلى أن نهجا هجينا يجمع بين نموذجي جيف وأوبوس يحقق دقة قريبة من النماذج الرائدة بتكلفة أقل بأكثر من أربعة أضعاف في الحالات الأسهل. تحدد تحديد الهوية ربط السجلات المتناثرة بأشخاص حقيقيين، وهي خطوة أساسية للتسويق والتحليلات. لكن الخطأ الأخطر هو الدمج المفرط، أي إدراج أكثر من شخص ضمن هوية واحدة، وهو ما يصعب كشفه لعدم وجود إجابات مرجعية على البيانات الحقيقية. وتعتمد الفرق عادة على عينات يدوية بطيئة، تصل إلى نحو خمسين هوية في الساعة، وتحتاج إلى عينات كبيرة لتقدير الخطأ بدقة. وللإفادة من سرعة النماذج اللغوية، بنت الشركة مجموعة اختبار باستخدام أداة محاكاة من جامعة واشنطن، أنشأت بها هويات من سجلات حكومية أمريكية واقعية ومشوبة بأخطاء شائعة، مثل الأخطاء المطبعية، وتبادل الحروف، وسجلات عائلة، واختلاط أسماء متشابهة، وتواريخ ميلاد مختلفة، وعناوين جديدة. وتضمنت العينة هويات صحيحة وأخرى مدمجة خطأ لقياس قدرة النماذج على التمييز. في البداية، حققت النماذج الرائدة دقة وصلت إلى تسعة وتسعين في المئة، بينما وصل نموذج لونا إلى سبعة وتسعين وثلاثة من عشرة في المئة، ونموذج جيف إلى خمسة وتسعين وسبعة من عشرة في المئة مع ضبط عتبة الثقة. لكن مع صعوبة الاختبار، ظهرت فجوة واضحة: نموذج أوبوس حافظ على دقة نحو خمسة وتسعين وواحد من عشرة في المئة، بينما انخفضت دقة لونا إلى ثمانية وثمانين وثمانية من عشرة في المئة. وكان السبب أن لونا يبالغ في الثقة حين يرتكب الأخطاء، أما جيف فيقدم ثقة أكثر توازنا في الحالات الصعبة. اعتمدت الشركة على نموذج هجين يفحص فيه جيف السجلات الرخيصة، وإذا كانت ثقة النموذج ضمن نطاق غامض، تُرسل الحالة إلى أوبوس للتحقق. وعلى الاختبار الصعب، رفع هذا التصميم الدقة إلى خمسة وتسعين وثلاثة من عشرة في المئة، مقابل خمسة وتسعين وواحد من عشرة في المئة لأوبوس وحده، وبتكلفة أقل بكثير، نحو اثنين وأربعة من عشرة لكل ألف هوية، مقابل خمسة وتسعة وثلاثة من عشرة. أما على الاختبار الأسهل، بلغ دقة النموذج الهجين ثمانية وتسعين وثمانية من عشرة في المئة، بتكلفة ثمانية وثمانية من مئة لكل ألف هوية، مقابل ثلاثة وثمانين وثمانية من عشرة لأوبوس وحده. تخلص الشركة إلى أن ضبط الثقة أهم من اختيار نموذج قوي ابتداء. فالفائدة تكمن في استخدام نموذج رخيص متزن لإحالة الحالات المبهمة فقط إلى نموذج أقوى، مما يوفر سرعة وتكلفة مع الحفاظ على دقة قريبة من الأنظمة الرائدة. كما تشير إلى أن هذه الطريقة قد تمتد إلى مهام أخرى تتطلب فحص كميات كبيرة من البيانات مع احتمالية أخطاء نادرة وصعبة.
