الملخص

في مجال أتمتة التفاعل البشري مع واجهة المستخدم الرسومية (GUI) المدعومة بالذكاء الاصطناعي، وعلى الرغم من التقدم السريع في نماذج اللغة الكبيرة متعددة الوسائط وتقنيات التحسين بالتعزيز، ما زال يواجه تحديًا جوهريًا: إذ تختلف منطقية التفاعل بشكل كبير عن الأنماط الطبيعية للتواصل البشري مع واجهات المستخدم الرسومية. ولسد هذه الفجوة، نقترح إطارًا مُلهمًا بالدماغ يُسمى "الوَجه – التفكير – الربط" (Blink-Think-Link, BTL)، وهو إطار يُحاكي العملية المعرفية البشرية أثناء التفاعل بين المستخدمين وواجهات المستخدم الرسومية. يُقسّم النظام التفاعل إلى ثلاث مراحل منطقية بيولوجية متميزة: (1) الوَجه – الكشف السريع وتركيز الانتباه على المناطق ذات الصلة على الشاشة، وهو ما يشبه الحركات السريعة للعين (الحركات التموجية)؛ (2) التفكير – التفكير على مستوى أعلى واتخاذ القرارات، وهو ما يُحاكي عملية التخطيط المعرفي؛ و(3) الربط – إنشاء أوامر قابلة للتنفيذ للتحكم الدقيق في الحركات، وهو ما يُقلّد آليات اختيار الإنسان للإجراءات.بالإضافة إلى ذلك، نُقدّم اثنين من الابتكارات التقنية الرئيسية ضمن إطار BTL: (1) توليد بيانات الوَجه – خط أنابيب تلقائي للتصنيف مُصمم خصيصًا لبيانات المرحلة الأولى (الوَجه)، و(2) مكافأة BTL – أول آلية مكافأة مبنية على قواعد تُمكّن التعلم بالتعزيز من الاعتماد على كل من العملية والنتيجة. وباستناد إلى هذا الإطار، نطوّر نموذجًا لوكيل واجهة مستخدم (GUI Agent) يُسمى BTL-UI، والذي يُظهر أداءً متميزًا وثابتًا على مستوى أفضل النماذج الحالية في مهام فهم واجهة المستخدم الثابتة، وكذلك في مهام التفاعل الديناميكي، ضمن معايير تقييم شاملة. وتُقدّم هذه النتائج دليلاً تجريبيًا قاطعًا على فعالية الإطار في تطوير وكالات واجهة مستخدم متقدمة.